ThinkingCap ने Google के gemma-4-26B-A4B-it पर आधारित अपना पांचवां टोकन-कुशल मॉडल जारी किया है। लक्ष्य था कि मॉडल उत्तर देने से पहले कितना सोचता है उसे कम करना, और इसके अलावा कुछ भी न बदलना, जिसमें उसका ज्ञान, तर्क, उत्तर की गुणवत्ता, निर्देशों का पालन और सुरक्षा व्यवहार शामिल हैं। बारह बेंचमार्क में, सोच वाले टोकन औसतन 38.9% घटे, और व्यक्तिगत परीक्षणों में यह कमी 69.1% तक पहुंची।
सटीकता की कीमत न्यूनतम रही। सभी बारह बेंचमार्क का औसत लेने पर, सटीकता में केवल -0.15pp का बदलाव आया, जिसे टीम इस बात का संकेत मानती है कि यह अधिकांश सूट में रन-दर-रन के अंतर से भी छोटा है। निर्देशों का पालन और एजेंटिक कार्यों में 0.65pp का सुधार हुआ और गणित में 0.39pp का, जबकि कोड लगभग स्थिर रहा। ज्ञान और तर्क में 0.51pp की गिरावट आई और लंबे-संदर्भ तथा मल्टीमोडल कार्यों में 0.92pp की।
लूपिंग, यानी जब मॉडल अपने आप को दोहराता है, मूल मॉडल के उत्तरों के 3.6% से घटकर 0.8% रह गई।
कमी सबसे अधिक लंबे-संदर्भ और मल्टीमोडल कार्यों में रही, 54.4%, इसके बाद ज्ञान और तर्क में 44.4%, गणित में 36.1% और कोड में 27.6%। निर्देशों का पालन और एजेंटिक कार्यों में सबसे कम बदलाव देखा गया, 17.2%।
यह मॉडल एक ड्रॉप-इन प्रतिस्थापन है और वही सैंपलिंग सेटिंग्स तथा सर्विंग स्टैक उपयोग करता है। बताया गया है कि PRO संस्करण सोच वाले टोकन को अधिकतम 87.6%, या औसतन 62% तक घटाता है, जो बड़े पैमाने पर अनुमान (inference) लागत कम करना चाहने वाले उद्यमों के लिए है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित