HeadlinesBriefing favicon HeadlinesBriefing.com

GitHub firelex/jeff: Modelos rápidos de clasificación zero-shot

Hacker News •
×

GitHub - firelex/jeff: Ajustes finos de Qwen3.5 y Gemma 4 para clasificación zero-shot: modelos de decisión pequeños y rápidos que integras en tu código, con el mismo formato de solicitud que Jev. Describes una situación y enumeras las opciones en palabras simples; Jeff devuelve una probabilidad calibrada para cada opción desde una sola pasada hacia adelante. Sin texto generado, sin análisis: aproximadamente 22 ms por decisión en una RTX PRO 6000 y 28 ms en una Apple M4 Max (MLX).

Zero-shot significa que las opciones pueden ser cualquier cosa: colas de soporte, intenciones de usuario, etiquetas de moderación, comandos de voz, movimientos de juego. Tus categorías no necesitan aparecer en los datos de entrenamiento; las describes, y Jeff elige. Estos son modelos muy pequeños. Hacen juicios extremadamente rápidos y bien calibrados entre opciones, y se integran fácilmente en tu código local. En benchmarks se acercan, y a veces superan, a Jev; pero en este tamaño su razonamiento no igualará al de Jev, que se ejecuta en un modelo mucho más grande.

Construido enteramente en hardware local. Entrenamiento en una GPU de estación de trabajo RTX PRO 6000 (el 0.8B se entrena en aproximadamente 2 horas, el 2B en aproximadamente 3.5), todos los datos de entrenamiento sintéticos escritos por un modelo abierto (Qwen3.8-Flash-Next) en dos DGX Sparks, pruebas en una Mac Book. Sin GPUs en la nube, y sin salida de modelo cerrado en los datos de entrenamiento. Jeff utiliza el mismo formato de solicitud que Jev, pero no está afiliado ni respaldado por Type Safe, los creadores de Jev. Modelos en Hugging Face: Jeff-Qwen3.5-0.8B, Jeff-Qwen3.5-2B, Jeff-Gemma4-E2B.

Benchmarks: 4,599 preguntas de cinco benchmarks públicos, más el nivel difícil público de Jev Bench. La puntuación general de Jeff iguala o supera a Jev en clasificación y grounding.