ThinkingCapは、Googleのgemma-4-26B-A4B-itを基にした5番目のトークン効率モデルを発表しました。目的は、回答前にモデルが行う思考量を減らすことで、知識、推論、回答の質、指示への追従、安全性の振る舞いを含め、それ以外は一切変えないことでした。12のベンチマークにおいて、思考トークンは平均で38.9%減少し、個別のテストでは最大69.1%の減少が見られました。
精度への影響はわずかでした。12のベンチマーク全体の平均で、精度の変化はわずか-0.15ppで、チームはこれがスイートの大半における実行ごとのばらつきより小さいと述べています。指示への追従とエージェント的タスクは0.65pp、数学は0.39pp向上し、コードはほぼ変わりませんでした。知識と推論は0.51pp、長文脈・マルチモーダルタスクは0.92pp低下しました。モデルが自分を繰り返すループは、元のモデルの回答の3.6%から0.8%に減少しました。
減少幅が最も大きかったのは長文脈・マルチモーダルタスクで54.4%、次いで知識と推論が44.4%、数学が36.1%、コードが27.6%でした。指示への追従とエージェント的タスクは17.2%と最も変化が小さいものでした。
このモデルはドロップイン置換が可能で、同じサンプリング設定とサービング基盤を使用します。報告によると、PRO版では思考トークンを最大87.6%、平均で62%削減でき、大規模な推論コストの削減を求める企業向けとされています。
出典: Hacker News · 要約：HeadlinesBriefing