نماذج اللغة السياقية: إدارة سياق أكثر ذكاءً

المؤلفون: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. نقدم نماذج اللغة السياقية (CLMs)، وهي نماذج لغة تدير سياقها الخاص بشكل أصلي. ننفذ ذلك من خلال معاملة السياق كملف والسماح للنموذج بإجراء تحديثات غير مقيدة لهذا الملف. وهذا يسمح للنموذج بتعلم ما هو الأكثر أهمية للحفاظ عليه في السياق، ويمتد بشكل طبيعي إلى أنظمة متعددة الوكلاء حيث تتعايش سياقات وكلاء متعددين كملفات.

بناء CLMs بطريقة الصفر-shot مع النماذج الحالية يتفوق على استراتيجيات إدارة السياق الأحدث (SOTA) عبر مجموعة متنوعة من المهام: دقة أعلى بنسبة 11.4% مع 21.5% أقل من FLOPs على Browse Comp-Plus، ودرجات أعلى بنسبة 5% مع 59% أقل من FLOPs على Edge Bench لمدة 12 ساعة، وتحسن أكبر بنسبة 65% مع نفس الحساب على مهمة سرب متعدد المستودعات لمدة 24 ساعة. علاوة على ذلك، من خلال نقل إدارة السياق من التحكم الخارجي إلى السلوك الجوهري للنموذج، تمكن CLMs بشكل طبيعي كلاً من التعلم السياقي والمعلمي لاستراتيجيات إدارة السياق.

نظهر أنه يمكن توجيه CLMs بتعليمات اللغة الطبيعية التي تم تطويرها من خلال حلقة تحسين المهارات القياسية، مما يحسن الدقة المحتجزة بما يصل إلى 35.9 نقطة في مهمة إدارة السياق مع تقليل الحساب. نقدم أيضًا طريقة تعلم تعزيزي عبر الإنترنت لـ CLMs، مما يحسن أداء Qwen3.5-9B على Browse Comp-Plus بنسبة 47.6% مع استخدام 12% أقل من FLOPs. أخيرًا، نصمم بشكل مشترك إعادة استخدام ذاكرة التخزين المؤقت لللاحقة (Suffix Cache Reuse) لخدمة CLM، مما يقلل بشكل أكبر من الحساب من جانب الخادم بنسبة 35% مقارنة بـ SGLang القياسي بأداء متطابق.

الكيانات الرئيسية: الأشخاص: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

الأسئلة الشائعة: ما هي نماذج اللغة السياقية (CLMs)؟

نماذج اللغة السياقية (CLMs) هي نماذج لغة تدير سياقها الخاص بشكل أصلي من خلال معاملته كملف بقدرات تحديث غير مقيدة، مما يسمح للنموذج بتعلم ما يجب الحفاظ عليه في السياق ويمتد إلى أنظمة متعددة الوكلاء.

المصدر: Hacker News · لخّصه HeadlinesBriefing