HeadlinesBriefing favicon HeadlinesBriefing.com

معمارية RLT: استدلال غير محدود

Hacker News •
×

يقدم المحول الحلقي المتكرر (RLT) مشفرًا سببيًا مقترنًا بمفكك متكرر يحافظ على حالته المخفية النهائية وذاكرة انتباه النافذة المنزلقة الطبقية عبر كل رمز. تدمج هذه المعمارية الاستدلال الكامن مع العمق الزمني غير المحدود، مما يمكّن من التصميم المشترك للنموذج-الأجهزة والنموذج-خوارزمية RL. يتعامل مشفر متوازي مع تجميع الرموز المعروفة بينما يمدد المفكك الحساب الكامن المستمر مع نمو التسلسلات. ترشد ثلاثة مبادئ أساسية التصميم: عمق استدلال ينمو مع طول التسلسل، عمل أجهزة متوازٍ حول نواة متكررة، وانتقال واحد من أخذ العينات إلى إعادة تشغيل RL. يعيد النظام استخدام الأوزان والذاكرة مع نقاط التفتيش، مع الحفاظ على الحساب المرجعي دون إعادة تعيين الحالة عند حدود الخدمة. تحدد الصيغ الرياضية الحالة المخفية كـ H_t = (s_t, C_t^D)، حيث يتم تمرير المخرجات المتكررة و KV للمفكك للأمام عبر الدمج. تحتفظ آلية انتباه النافذة المنزلقة بالمفاتيح والقيم الحديثة، مع مشاركة المطالبة والاستجابة لانتقال حالة كامل واحد. تتميز التكوينات بـ 48 طبقة مشفر و 48 طبقة مفكك مع أوزان انتباه و FFN مشتركة، حيث يمر كل رمز عبر 48t كتلة مفكك. يدعم التصميم العمق اللانهائي كمسار زمني قابل للتمديد بدلاً من الحساب اللانهائي لكل رمز، على الرغم من أن مكاسب الاستدلال المحققة وكفاءة الأجهزة لا تزال قيد التحقيق.