ThinkingCap hat sein fünftes token-effizientes Modell veröffentlicht, das auf Googles gemma-4-26B-A4B-it basiert. Ziel war es, wie viel das Modell vor der Antwort nachdenkt, zu verringern, ohne sonst etwas zu verändern, einschließlich seines Wissens, seines Denkvermögens, der Antwortqualität, der Befolgung von Anweisungen und des Sicherheitsverhaltens. Über zwölf Benchmarks hinweg sanken die Denk-Token im Durchschnitt um 38,9 %, bei einzelnen Tests um bis zu 69,1 %.
Die Genauigkeitseinbußen waren minimal. Über alle zwölf Benchmarks gemittelt änderte sich die Genauigkeit nur um -0,15 Pp, was das Team als geringer einstuft als die Schwankungen zwischen einzelnen Durchläufen in den meisten Tests. Befolgung von Anweisungen und agentische Aufgaben gewannen 0,65 Pp, Mathematik 0,39 Pp, während Code praktisch unverändert blieb. Wissen und logisches Denken verloren 0,51 Pp, Aufgaben mit langem Kontext und multimodale Aufgaben 0,92 Pp. Schleifen, bei denen sich das Modell selbst wiederholt, sanken von 3,6 % der Antworten des Originalmodells auf 0,8 %.
Die größten Reduktionen zeigten sich bei Aufgaben mit langem Kontext und multimodalen Aufgaben mit 54,4 %, gefolgt von Wissen und logischem Denken mit 44,4 %, Mathematik mit 36,1 % und Code mit 27,6 %. Befolgung von Anweisungen und agentische Aufgaben verzeichneten mit 17,2 % die geringste Veränderung.
Das Modell ist ein Drop-in-Ersatz und nutzt dieselben Sampling-Einstellungen und denselben Serving-Stack. Eine PRO-Version soll die Denk-Token um bis zu 87,6 % bzw. im Durchschnitt um 62 % reduzieren, für Unternehmen, die die Inferenzkosten im großen Maßstab senken wollen.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing