HeadlinesBriefing favicon HeadlinesBriefing.com

Jevchat transforma o Jev em um chatbot

Hacker News •
×

Jevchat transforma o Jev em um chatbot fazendo uma pergunta em cada passo: dada a pergunta do usuário e a resposta escrita até agora, qual símbolo vem a seguir? As opções são um alfabeto mais uma opção para parar a emissão. O Jev retorna uma probabilidade para cada um, e o amostrador desenha o próximo símbolo dessa distribuição normalizada. Adicionar, repetir e parar quando STOP for sorteado. Há vários alfabetos (incluindo listas de tokens truncadas) e estratégias de amostragem disponíveis. A ideia é por diversão, o custo é relativamente impraticável, e os resultados são hilariantes. Isso foi um experimento acelerado pelo Claude. O usuário descreveu os algoritmos de amostragem, estratégias, etc., e o Claude os implementou.

Configuração: Coloque sua chave Jev em .env ao lado de pyproject.toml (ignorado por git) como JEV_API_KEY. TYPESAFE_API_KEY também é aceito. Valores em .env prevalecem sobre os exportados, então editar o arquivo é suficiente para alternar chaves. Comandos: poetry run jevchat (interativo), poetry run jevchat ask "as pessoas precisam de água?", poetry run jevchat alphabets, poetry run jevchat bench。

A resposta aparece enquanto é amostrada, em um painel com uma leitura em tempo real da taxa de geração símbolos/s, caracteres/s, milissegundos por chamada de API, tempo transcorrido, e os poucos símbolos principais que o Jev pontuou na última etapa. Ctrl-C cancela. A primeira pressão para parar a geração uma vez que a solicitação em andamento retorna; uma segunda pressão o aborta imediatamente.

Modos: Duas coisas são trocáveis: estratégia (-s/--strategy) e alfabeto (-a/--alphabet). Estratégias incluem choice (uma pergunta sobre todo o alfabeto), bisect (perguntas sim-não reduzindo o grupo), buckets (alfabeto dividido em muitas perguntas), e refine (buckets então uma pergunta sobre vencedores). Apresentações incluem hypothesis (padrão) e symbol。