सितंबर 2025 में, थिंकिंग मशीन्स लैब के होरेस हे और उनके सहकारियों ने प्रॉप्ट "टेल मी आबाउट रिचर्ड फेनमैन" को क्वेन3-235B में 1,000 बार टेम्परेचर 0 पर भेजा, जिससे वे समान 1,000-टोकन उत्तर की उम्मीद कर रहे थे। उन्हें 80 अलग-अलग पूर्णताएं मिलीं। सारे रन पहले 102 टोकन तक समान थे; टोकन 103 पर, 992 ने "क्वींस, न्यू यॉर्क" जारी रखा और 8 ने "न्यू यॉर्क सिटी"। ये बदलाव GPU थ्रेड यादृच्छिकता के कारण नहीं हुए, बल्कि ऐसे कर्नल्स के कारण हुए जिनका अनुक्रम बैच आकार के साथ बदलता है, जिससे आउटपुट यहां दिखाते हैं कि उस समय कितने अन्य अनुरोध हो रहे हैं।
टेम्परेचर 0 पर मॉडल सबसे उच्च-लॉगिट टोकन चुहता है, जो गणित में निर्धारित है लेकिन फ्लोटिंग-पॉइंट अंकित में नहीं, जहां जोड़ एसोसिएटिव नहीं होता। एक तंत्रिका अंतरण अरबों ऐसे योग करती है, इसलिए हार्डवेयर का क्रम महत्वपूर्ण है। हे आदि ने दिखाया कि टिपिकल फॉरवर्ड पास में कोई एटॉमिक एड नहीं होता और समान इनपुट पर समान बिट्स लौटाते हैं, लेकिन कई कर्नल बैच-इनवेयरियंट नहीं हैं।
गणितीय रूप से, मान लें z₁ और z₂ दो सबसे बड़े लॉगिट हैं जिनका अंतर M = z₁ - z₂ >= 0 है। संख्यात्मक शोर अंतर को त्रुटि Δ से बदलता है, और argmax तब बदलता है जब M + Δ < 0 हो। 8 लॉगिट का अंतर कभी बदलता नहीं; केवल लगभग बराबरी के स्थिति में जोखिम होता है। प्रति टोकन बदलाव की संभावना p ≈ f(0) · E|Δ| / 2 है, जहां f(0) लगभग बराबरी का घनत्व है और E|Δ| अपेक्षित शोर का परिमाण है।
बैच-इनवेयरियंट कर्नल के साथ, सारे 1,000 फेनमैन पूर्णताएं समान आईं। ठीकारी की कीमत प्रदर्शन है: अनुकूलित नहीं की गई निर्धारित संस्करण ने 55 सेकंड लिए, जबकि डिफॉल्ट vLLM ने 26 सेकंड।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित