ThinkingCap গুগলের gemma-4-26B-A4B-it-এর ভিত্তিতে তাদের পঞ্চম টোকেন-দক্ষ মডেল প্রকাশ করেছে। লক্ষ্য ছিল উত্তর দেওয়ার আগে মডেলটি কতটা চিন্তা করে তা কমানো, এবং অন্য কিছু না বদলানো, যার মধ্যে রয়েছে তার জ্ঞান, যুক্তি, উত্তরের মান, নির্দেশ অনুসরণ এবং নিরাপত্তা আচরণ। বারোটি বেঞ্চমার্কজুড়ে, চিন্তার টোকেন গড়ে 38.9% কমেছে, এবং পৃথক পরীক্ষায় কমানো হয়েছে সর্বোচ্চ 69.1% পর্যন্ত।
নির্ভুলতার মূল্য ছিল সামান্য। বারোটি বেঞ্চমার্কের গড় নিলে, নির্ভুলতা বদলেছে মাত্র -0.15pp, যা দলটি উল্লেখ করেছে যে স্যুটের বেশিরভাগ পরীক্ষায় প্রতিটি রানের মধ্যকার পার্থক্যের চেয়েও ছোট। নির্দেশ অনুসরণ ও এজেন্টিক কাজে 0.65pp বেড়েছে এবং গণিতে 0.39pp বেড়েছে, আর কোড প্রায় অপরিবর্তিত ছিল। জ্ঞান ও যুক্তিতে 0.51pp কমেছে, এবং দীর্ঘ-প্রসঙ্গ ও মাল্টিমোডাল কাজে 0.92pp কমেছে। লুপিং, অর্থাৎ মডেল যখন নিজেকে পুনরাবৃত্তি করে, মূল মডেলের উত্তরের 3.6% থেকে কমে 0.8% হয়েছে।
দীর্ঘ-প্রসঙ্গ ও মাল্টিমোডাল কাজে কমানো সবচেয়ে বেশি ছিল, ৫৪.৪%, এরপর জ্ঞান ও যুক্তিতে ৪৪.৪%, গণিতে ৩৬.১% এবং কোডে ২৭.৬%। নির্দেশ অনুসরণ ও এজেন্টিক কাজে সবচেয়ে কম পরিবর্তন দেখা গেছে, ১৭.২%।
মডেলটি একটি ড্রপ-ইন প্রতিস্থাপন এবং একই স্যাম্পলিং সেটিংস ও সার্ভিং স্ট্যাক ব্যবহার করে। জানা গেছে, একটি PRO সংস্করণ চিন্তার টোকেন সর্বোচ্চ 87.6%, বা গড়ে 62% কমায়, যা বড় পরিসরে ইনফারেন্স খরচ কমাতে চাওয়া প্রতিষ্ঠানগুলোর জন্য।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing