ThinkingCap telah merilis model hemat token kelimanya, dibangun di atas gemma-4-26B-A4B-it dari Google. Tujuannya adalah mengurangi seberapa banyak model berpikir sebelum menjawab tanpa mengubah hal lain, termasuk pengetahuan, penalaran, kualitas jawaban, kepatuhan terhadap instruksi, dan perilaku keamanannya. Di dua belas benchmark, token berpikir turun rata-rata 38,9%, dengan pengurangan hingga 69,1% pada tes individual.
Biaya akurasinya minimal. Rata-rata di seluruh dua belas benchmark, akurasi hanya berubah -0,15pp, yang menurut tim lebih kecil dibandingkan selisih antar-eksekusi pada sebagian besar rangkaian tes. Kepatuhan terhadap instruksi dan tugas agentik naik 0,65pp dan matematika naik 0,39pp, sementara kode hampir tidak berubah. Pengetahuan dan penalaran turun 0,51pp, serta tugas konteks panjang dan multimodal turun 0,92pp. Perulangan, yaitu ketika model mengulangi dirinya sendiri, turun dari 3,6% respons model asli menjadi 0,8%.
Pengurangan terbesar terjadi pada tugas konteks panjang dan multimodal, yaitu 54,4%, diikuti pengetahuan dan penalaran 44,4%, matematika 36,1%, dan kode 27,6%. Kepatuhan terhadap instruksi dan tugas agentik menunjukkan perubahan terkecil, yaitu 17,2%.
Model ini merupakan pengganti langsung (drop-in) dan menggunakan pengaturan sampling serta serving stack yang sama. Versi PRO dilaporkan dapat memangkas token berpikir hingga 87,6%, atau 62% rata-rata, bagi perusahaan yang ingin menekan biaya inferensi dalam skala besar.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing