ThinkingCap a publié son cinquième modèle économe en jetons, basé sur gemma-4-26B-A4B-it de Google. L'objectif était de réduire la quantité de réflexion du modèle avant de répondre, sans rien modifier d'autre, y compris ses connaissances, son raisonnement, la qualité de ses réponses, le suivi des instructions et son comportement en matière de sécurité. Sur douze benchmarks, les jetons de réflexion ont diminué de 38,9 % en moyenne, avec des réductions allant jusqu'à 69,1 % sur certains tests individuels.
Le coût en précision a été minime. En moyenne sur les douze benchmarks, la précision n'a varié que de -0,15 pp, un écart que l'équipe juge inférieur à la dispersion entre deux exécutions pour la plupart de la suite. Le suivi des instructions et les tâches agentiques ont gagné 0,65 pp et les mathématiques 0,39 pp, tandis que le code est resté pratiquement stable. Les connaissances et le raisonnement ont perdu 0,51 pp, et les tâches à long contexte et multimodales 0,92 pp. Les boucles, c'est-à-dire les cas où le modèle se répète, sont passées de 3,6 % des réponses du modèle d'origine à 0,8 %.
Les réductions ont été les plus importantes pour les tâches à long contexte et multimodales, à 54,4 %, suivies des connaissances et du raisonnement à 44,4 %, des mathématiques à 36,1 % et du code à 27,6 %. Le suivi des instructions et les tâches agentiques ont enregistré le plus petit changement, à 17,2 %.
Le modèle est un remplacement direct et utilise les mêmes paramètres d'échantillonnage et la même pile de service. Une version PRO réduirait selon les informations les jetons de réflexion jusqu'à 87,6 %, soit 62 % en moyenne, pour les entreprises qui cherchent à réduire leurs coûts d'inférence à grande échelle.
Source: Hacker News · Résumé par HeadlinesBriefing