ThinkingCap ha lanzado su quinto modelo eficiente en tokens, basado en gemma-4-26B-A4B-it de Google. El objetivo era reducir cuánto piensa el modelo antes de responder sin cambiar nada más, incluidos sus conocimientos, razonamiento, calidad de las respuestas, seguimiento de instrucciones y comportamiento de seguridad. En doce pruebas comparativas, los tokens de razonamiento disminuyeron un 38,9% de media, con reducciones de hasta el 69,1% en pruebas individuales.
El coste en precisión fue mínimo. Promediando las doce pruebas, la precisión cambió solo -0,15pp, algo que el equipo señala como menor que la variación entre ejecuciones en la mayoría de la suite. El seguimiento de instrucciones y las tareas agénticas ganaron 0,65pp y las matemáticas 0,39pp, mientras que el código se mantuvo prácticamente igual. El conocimiento y el razonamiento perdieron 0,51pp, y las tareas de contexto largo y multimodales perdieron 0,92pp. Los bucles, en los que el modelo se repite, bajaron del 3,6% de las respuestas del modelo original al 0,8%.
Las reducciones fueron mayores en las tareas de contexto largo y multimodales, con un 54,4%, seguidas del conocimiento y el razonamiento con un 44,4%, las matemáticas con un 36,1% y el código con un 27,6%. El seguimiento de instrucciones y las tareas agénticas registraron el menor cambio, con un 17,2%.
El modelo es un reemplazo directo y utiliza la misma configuración de muestreo y la misma pila de servicio. Según se informa, una versión PRO reduce los tokens de razonamiento hasta un 87,6%, o un 62% de media, para empresas que buscan menores costes de inferencia a gran escala.
Fuente: Hacker News · Resumido por HeadlinesBriefing