HeadlinesBriefing favicon HeadlinesBriefing.com

التوجيه التكيفي للنماذج لتقليل تكاليف استنتاج LLM

Towards Data Science •
×

يمكن لموجه النموذج التكيفي أن يقلل تكاليف استنتاج نماذج اللغة الكبيرة بنسبة تصل إلى 90% في الأنظمة متعددة الوكلاء دون تغيير منطق الوكلاء. تصاميم التقليدية تعين نفس النموذج القوي — مثل GPT-5-Pro — لكل وكيل (مخطط، باحث، محلل، مراسل) بغض النظر عن تعقيد المهمة. يفشل التعيين الثابت عندما تختلف أنواع الاستعلامات عبر الأقسام أو السياقات، مما يجعل القدرة على التكيف في وقت التشغيل ضرورية.

ستستبدل هذه المعمارية المخطط العالمي الأحادي بتوليد المهام الفرعية في الوقت المناسب (JIT) في كل مرحلة من مراحل الوكيل. عندما يتصرف الباحث، فإنه يستدعي وكيل مخطط مقتصر على جمع البيانات، باستخدام المخرجات الفعلية من الأعلى لإبلاغ القرارات. هذا يزيل العمى السياقي ويقلل من خطر الهلوسة من المطالبات الأولية الضخمة.

طبقة تصنيف خفيفة الوزن — مدعومة بنماذج رخيصة مثل Gemini-flash-lite أو gpt-nano — تقيّم كل مهمة JIT في الوقت الفعلي، وتوجهها إلى النموذج اللغوي الكبير المناسب الحجم. التصنيف أبسط بكثير من التنفيذ، مما يتيح توجيهًا دقيقًا بتكلفة منخفضة. يوفر النظام رؤية تفصيلية لإنفاق الاستنتاج مع الحفاظ على استقلالية الوكيل وقدرته على الاستدلال.

الكيانات الرئيسية: الشركات: Towards Data Science