इस Hacker News पोस्ट के लेखक, जो मॉडल विकास में अपनी सीमित विशेषज्ञता स्वीकार करते हैं, उन पाठकों का जवाब देते हैं जो पूछते हैं कि strands-decider-2B को BERT जैसे एनकोडर के बजाय संशोधित LLM के रूप में क्यों बनाया गया है। इसका तर्क यह है कि द्विदिश एनकोडर, जहाँ प्रत्येक टोकन को पहले और बाद के दोनों टोकनों का उपयोग करके दर्शाया जाता है, केवल पीछे देखने वाले कारण (causal) मॉडलों से बेहतर प्रदर्शन करने चाहिए। लेखक स्वीकार करते हैं कि यह परियोजना मूल रूप से डिकोडर को एनकोडर के रूप में उपयोग कर रही है, इसलिए प्रश्न उचित है।
इसे परखने के लिए पाँच डिज़ाइनों की तुलना की गई: v19, जो Qwen3.5 पर आधारित अंतिम strands-decider है; T5Gemma 2 पर आधारित दो एनकोडर-डिकोडर मॉडल, जिनके कुल पैरामीटर 2B और 8B हैं; और T5Gemma से निकले दो केवल-एनकोडर संस्करण, जिनमें से एक मास्क्ड स्टेट कैश का उपयोग करता है ताकि कई प्रश्नों का समानांतर मूल्यांकन हो सके। 8B एनकोडर-डिकोडर मॉडल सटीकता और Brier स्कोर में v19 से आगे है, लेकिन यह लगभग चार गुना बड़ा है, इसलिए यह बराबरी की तुलना नहीं है। अधिक सार्थक तुलना v19 और लेटेंसी-अनुकूलित एनकोडर e1b के बीच है, जो एक बेंचमार्क सटीकता माप पर v19 से थोड़ा आगे है, हालाँकि यह बार-बार चलाने पर होने वाले अंतर के भीतर है, और कैलिब्रेशन में थोड़ा कमज़ोर है।
लेटेंसी में केवल-एनकोडर मॉडल स्पष्ट रूप से आगे हैं, जिनका माध्यिका मान लगभग 35 मिलीसेकंड है, जबकि v19 का 65 मिलीसेकंड है। लेकिन प्रॉम्प्ट लंबे होने पर यह बढ़त घटती जाती है। एनकोडर सभी परतों में पूर्ण अटेंशन का उपयोग करता है, जो द्विघात रूप से बढ़ता है, जबकि v19 की अधिकांश परतें रैखिक लागत वाले Gated Delta Net का उपयोग करती हैं। इन परतों की स्थिर लागत अधिक है, लेकिन वे बेहतर तरीके से बढ़ती हैं, जिससे लेटेंसी की निचली सीमा ऊँची हो जाती है। चूँकि बेंचमार्क कार्यभार छोटे प्रॉम्प्ट की ओर झुका है, व्यवहार में एनकोडर को लाभ मिलता है।
बिना मास्क वाला एनकोडर e1a नौ में से सात कार्यों पर v19 से बेहतर है, लेकिन दो प्रमुख बेंचमार्क पर उसका प्रदर्शन खराब है, जो सुझाता है कि मास्किंग के बिना प्रश्नों को स्टेट पर ध्यान देने देना एक कमज़ोरी हो सकती है। लेखक का निष्कर्ष है कि एनकोडर दृष्टिकोण आशाजनक है, लेकिन हर दृष्टि से यह स्पष्ट जीत नहीं है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित