HeadlinesBriefing favicon HeadlinesBriefing.com

RLT: असीमित तर्क वास्तुकला

Hacker News •
×

आवर्ती लूप्ड ट्रांसफॉर्मर (RLT) एक कारणात्मक एनकोडर पेश करता है जो एक आवर्ती डिकोडर के साथ जोड़ा जाता है जो प्रत्येक टोकन पर अपना अंतिम छिपा हुआ राज्य और लेयरवाइज स्लाइडिंग-विंडो ध्यान कैश संरक्षित करता है। यह वास्तुकला अव्यक्त तर्क को असीमित लौकिक गहराई के साथ विलय करती है, जिससे मॉडल-हार्डवेयर और मॉडल-RL एल्गोरिदम सह-डिजाइन सक्षम होता है। एक समानांतर एनकोडर ज्ञात-टोकन बैचिंग को संभालता है जबकि डिकोडर अनुक्रम बढ़ने पर निरंतर अव्यक्त गणना का विस्तार करता है। तीन मुख्य सिद्धांत डिजाइन का मार्गदर्शन करते हैं: अनुक्रम लंबाई के साथ बढ़ने वाली तर्क गहराई, एक आवर्ती कोर के चारों ओर समानांतर हार्डवेयर कार्य, और नमूनाकरण से RL रीप्ले तक एकल संक्रमण। सिस्टम चेकपॉइंटिंग के साथ वजन और मेमोरी का पुन: उपयोग करता है, सर्विंग सीमाओं पर राज्य रीसेट के बिना संदर्भ गणना को बनाए रखता है। गणितीय सूत्रीकरण छिपे हुए राज्य को H_t = (s_t, C_t^D) के रूप में परिभाषित करते हैं, जहां आवर्ती आउटपुट और डिकोडर KV विलय के माध्यम से आगे बढ़ते हैं। एक स्लाइडिंग-विंडो ध्यान तंत्र हाल की कुंजियों और मूल्यों को बरकरार रखता है, जिसमें प्रॉम्प्ट और प्रतिक्रिया एक पूर्ण राज्य संक्रमण साझा करते हैं। कॉन्फ़िगरेशन में 48 एनकोडर और 48 डिकोडर परतें होती हैं जिनमें साझा ध्यान और FFN वजन होते हैं, जहां प्रत्येक टोकन 48t डिकोडर ब्लॉकों को पार करता है। डिजाइन अनंत गहराई को प्रति टोकन अनंत गणना के बजाय एक विस्तार योग्य लौकिक पथ के रूप में समर्थन करता है, हालांकि वास्तविक तर्क लाभ और हार्डवेयर दक्षता जांच के अधीन हैं।