Unsloth ने Dynamic v3.0 GGUFs जारी किया है, जो समान मॉडल आकार पर अन्य प्रदाताओं की तुलना में 10% से अधिक बेहतर top-1% सटीकता प्रदान करता है। नए Qwen3.8-27B Dynamic v3.0 क्वांट्स अधिकांश इन्फ़रेंस इंजिनों के साथ काम करते हैं, जिसमें llama.cpp और Unsloth Desktop शामिल हैं।
यह विधि एजेंटिक कोडिंग, चैट और बहुभाषीक सटीकता के लिए अनुकूलित उच्च-गुणवत्मक imatrix कैलिब्रेशन डेटासेट का उपयोग करती है। सुधारों में मॉडल गुणवत्ता को बनाए रखने के लिए बेहतर लेयर चयन और अतिरिक्त क्वांटाइज़ेशन तकनीकें शामिल हैं। टीम QAT या QAD का उपयोग नहीं करती, बल्कि केवल प्रशिक्षण के बाद क्वांटाइज़ेशन पर निर्भर करती है।
उल्लेखनीय रूप से, केवल 5 दिनों में 5.1 मिलियन डाउनलोड्स दर्ज किए गए। UD-Q2_K_XL (8.37GB और कम) के तहत छोटे क्वांट्स MTP मॉड्यूल को हटा दिया गया है, जिससे डिस्क स्पेस में लगभग 500MB की बचत होती है। UD-IQ1_S 1-बिट क्वांट 6.2GB का है, जबकि लगभग 72% top-1% सटीकता बनाए रखता है।
टीम ने 32 टोकन्स पर ग्रीडी argmax डिकोडिंग के लिए 300 आरक्षित उदाहरणों का उपयोग करके Divergence-300 @32 को एक अधिक प्रभावी मीट्रिक के रूप में पेश किया है। यह मॉडल के अतिशयन और BF16 बेसलाइन के साथ आउटपुट समानता का परीक्षण करने के लिए KL विचलन को मापता है। परिणाम दर्शाते हैं कि UD-3 क्वांट्स सभी स्तरों पर अधिकतम 10% अतिरिक्त top-1% सटीकता हासिल करते हैं, विशेषकर छोटे क्वांट आकारों पर।
मुख्य इकाइयाँ: कंपनियाँ: Unsloth
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित