تنص قوانين التوسع على أن نموذج اللغة يصبح أكثر قدرة مع المزيد من المعاملات وبيانات التدريب. وقد استفادت بنى مزيج الخبراء (MoE) من هذه القوانين لتحقيق نتائج ملحوظة، إذ تنشّط فقط جزءًا صغيرًا من بنك معاملات ضخم مخزّن لكل رمز.

يُبنى هذا النجاح على بيانات تدريب مسبق ثابتة. يواجه النموذج المنشور عالمًا مختلفًا، حيث لا توجد الكثير من البيانات التي تجعله أكثر فائدة في مجموعة تدريبه، بل في التفاعل الحي الذي يتعامل معه حاليًا، مثل الحقائق التي يقدمها المستخدم أو التصحيحات التي يعطيها. لا يستطيع النموذج التقليدي التعلم من هذه البيانات، لأن أوزانه مجمّدة بعد التدريب. بدلاً من ذلك، تُوضع المعرفة والسلوك المقدّمان في وقت التشغيل في المطالبة وتُهمل بمجرد انتهاء الطلب.

نتساءل كيف يمكن لبنية أن تتعلم من التفاعل الحي بكتابته في أوزانها. مستلهمين من MoE، نقترح LLM ذات المعاملات اللانهائية. تحوّل شبكة فائقة مدمجة بيانات وقت التشغيل إلى تعديل منخفض الرتبة لشبكة أساسية مشتركة، بحيث تُولَّد أوزان التغذية الأمامية من البيانات الحية بدلاً من تخزينها في بنك ثابت. بينما يقرأ مولّدو الأوزان السابقون السياق مرة واحدة ويجمّدون، نحن نحمل اعتقادًا بايزيًا حول الشفرة الكامنة للمولّد ونحدّثه عبر الإنترنت.

يبقى البصمة المخزّنة ثابتة، ومع ذلك فإن الأوزان التي يمكن للنموذج تجميعها لا نهائية فعليًا. حمل معرفة وقت التشغيل في الأوزان بدلاً من المطالبة يُطفَّأ حسابيًا، ويحرّر نافذة السياق، ويستمر عبر الأدوار، ويمكن أن يعمّم بشكل أفضل. نحدد بروتوكول تقييم يختبر هذا مقابل التعلم في السياق والاسترجاع.

الكيانات الرئيسية: الأشخاص: Jinli Hu

الأسئلة الشائعة: ما هو LLM ذات المعاملات اللانهائية؟

هو بنية مقترحة حيث تحوّل شبكة فائقة مدمجة بيانات التشغيل الحية إلى تعديل منخفض الرتبة لشبكة أساسية مشتركة، لتوليد أوزان التغذية الأمامية من البيانات الحية بدلاً من تخزينها في بنك ثابت.

سؤال شائع: ما هو LLM ذات المعاملات اللانهائية؟

جواب شائع: هو بنية مقترحة حيث تحوّل شبكة فائقة مدمجة بيانات التشغيل الحية إلى تعديل منخفض الرتبة لشبكة أساسية مشتركة، لتوليد أوزان التغذية الأمامية من البيانات الحية بدلاً من تخزينها في بنك ثابت.