HeadlinesBriefing favicon HeadlinesBriefing.com

Jevchat convierte a Jev en un chatbot

Hacker News •
×

Jevchat convierte a Jev en un chatbot haciendo una pregunta en cada paso: dado el problema del usuario y la respuesta escrita hasta ahora, ¿qué símbolo viene a continuación? Las opciones son un alfabeto más una opción para detener la emisión. Jev devuelve una probabilidad para cada uno, y el muestreador dibuja el siguiente símbolo de esa distribución normalizada. Agregar, repetir y detenerse cuando se dibuje STOP. Hay varios alfabetos (incluidas listas de tokens truncadas) y estrategias de muestreo disponibles. La idea es por diversión, el costo es algo poco práctico, y los resultados son hilares. Este fue un experimento acelerado por Claude. El usuario describió los algoritmos de muestreo, estrategias, etc., y Claude los implementó.

Configuración: Coloca tu clave de Jev en .env junto a pyproject.toml (ignorado por git) como JEV_API_KEY. También se acepta TYPESAFE_API_KEY. Los valores en .env ganan sobre los exportados, por lo que editar el archivo es suficiente para cambiar claves. Comandos: poetry run jevchat (interactivo), poetry run jevchat ask "¿las personas necesitan agua?", poetry run jevchat alphabets, poetry run jevchat bench.

La respuesta aparece mientras se muestrea, en un panel con una lectura en tiempo real de la tasa de generación símbolos/s, caracteres/s, milisegundos por llamada API, tiempo transcurrido, y los pocos símbolos principales que Jev puntuó en el último paso. Ctrl-C cancela. La primera pulsación detiene la generación una vez que la solicitud en curso devuelve; una segunda pulsación lo aborta inmediatamente.

Modos: Hay dos cosas que se pueden intercambiar: estrategia (-s/--strategy) y alfabeto (-a/--alphabet). Las estrategias incluyen choice (una pregunta sobre todo el alfabeto), bisect (preguntas sí-no que reducen el grupo), buckets (alfabeto dividido entre muchas preguntas), y refine (buckets luego una pregunta sobre ganadores). Las presentaciones incluyen hypothesis (por defecto) y symbol.