अक्टूबर 2026 s@qlabs.sh को पत्राचार·कोड·TL;DR हम पहली शून्य-क्रम विधि प्रस्तुत करते हैं जो ट्रांसफॉर्मर भाषा मॉडल के प्रीट्रेनिंग में बैकप्रोप के साथ प्रतिस्पर्धी है। Dust प्रत्येक टोकन पर स्वतंत्र रूप से सक्रियणों को विचलित करता है (नोड विचलन), इसलिए प्रत्येक टोकन एक आभासी जनसंख्या सदस्य है और एक अग्रगामी पास उन सभी का समानांतर में मूल्यांकन करता है। Dust बड़ी जनसंख्या (अर्थात काफी अधिक संगणना) पर बैकप्रोप का निकटता से अनुमान लगाता है और कई सेटिंग्स में इसे पार भी करता है। यह संकेत देता है कि संगणना-समृद्ध शासन में हम बैकप्रोप को पार कर सकते हैं। Dust भार-स्थान ES से परिमाण के क्रमों में अधिक कुशल है। 1M टोकन से ऊपर, Dust हमारे एक्सट्रपलेशन के आधार पर EGGROLL, एक अत्याधुनिक ES विधि, के ट्रांसफॉर्मर कार्यान्वयन से $10^3$ से $10^4$ गुना अधिक कुशल है।
शून्य-क्रम विधियों को व्यापक रूप से बड़े नेटवर्कों पर स्केल न करने के लिए माना जाता है। आश्चर्यजनक रूप से, हम पाते हैं कि बड़े मॉडल अधिक जनसंख्या-कुशल हैं, कम नहीं: एक 243M-पैरामीटर मॉडल अधिकांश जनसंख्या आकारों पर $120\times$ छोटे मॉडल से बेहतर प्रदर्शन करता है। जैसे-जैसे जनसंख्या बढ़ती है, Dust के ग्रेडिएंट अनुमान बैकप्रोप के साथ बेहतर संरेखित होते हैं, और हर पैमाने पर जिसका हम परीक्षण करते हैं, 1B टोकन तक, अच्छी तरह से संरेखित रहते हैं, जो स्केलिंग के लिए प्रोत्साहजनक है।
गहन शिक्षण बैकप्रोप के आसपास बनाया गया है, जो आधुनिक तंत्रिका नेटवर्क को प्रशिक्षित करने में सक्षम एकमात्र क्रेडिट आवंटन एल्गोरिदम है। हालांकि, जैसे-जैसे संगणना बढ़ती है, हम अधिक सामान्य एल्गोरिदम पसंद कर सकते हैं। कड़वा सबक (Sutton, 2019) यह है कि सामान्य विधियाँ जो संगणना के साथ स्केल करती हैं अंततः जीतती हैं। इसी तरह, विभेदनीयता कम-संगणना शासन में एक अच्छा आगमनात्मक पूर्वाग्रह हो सकता है, लेकिन उच्च-संगणना शासन में यह आर्किटेक्चर स्थान को सीमित करता है। खोज पर आधारित एक अधिक लचीला क्रेडिट आवंटन एल्गोरिदम संभवतः बहुत बेहतर सामान्यीकरण की ओर एक महत्वपूर्ण कदम है। हम इसे Dust कहते हैं, एक शून्य-क्रम अनुकूलन एल्गोरिदम जो सक्रियणों को विचलित करता है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित