يبدو توجيه الطلبات بين نماذج LLM لتوفير المال أمراً بسيطاً: إرسال المهام السهلة إلى نموذج رخيص والصعبة إلى نموذج متقدم. لكن تبديل النموذج في منتصف الجلسة يحمل تكلفة خفية. فالنموذج الجديد لم يرَ سجل المحادثة قط، لذلك يجب أن يعيد معالجة الجلسة بأكملها من البداية بالسعر الكامل، وهي عملية ملء مسبق بذاكرة تخزين مؤقتة باردة قد تكون من أغلى العمليات في تشغيل نماذج LLM.
توضح دراسة أجرتها Microsoft Azure Research في أغسطس 2026، شملت 13.5 مليون جلسة من GitHub Copilot و760 مليون استدعاء للنماذج، هذه المشكلة. فداخل الدورة الواحدة، يمكن إعادة استخدام نحو 90% من المطالبة من الذاكرة المؤقتة. وعند تجاوز حد الدورة مع البقاء على النموذج نفسه، انخفضت النسبة إلى 55%، وعند تبديل النموذج لم تتجاوز 8%. ويُبدّل نحو 6.4% من الجلسات النموذج، غالباً بسبب أخطاء أو حدود معدل الطلبات، أي أن كثيراً من المستخدمين يدفعون هذه التكلفة دون قصد.
ولقياس الأثر مباشرة، شغّل المؤلف جلسات وكيل متطابقة من 20 دورة عبر ثلاث سياسات توجيه على خادم vLLM مع تخزين مؤقت للبادئات: التوجيه اللاصق، والتناوب لكل طلب، والتبديل عند حدود المراحل. أتلف التوجيه لكل طلب عند البوابة ضعف كمية الذاكرة المؤقتة تقريباً مقارنةً بالتوجيه اللاصق، ولم يحقق سوى 13 من نقاط النسبة المئوية البالغة 40 المتوقعة من فارق الأسعار الخام. أما التوجيه عند حدود المراحل، الذي لا يبدّل النموذج إلا عند انتهاء إحدى مراحل سير عمل الوكيل، فقد حقق 29 من تلك النقاط. وكلّفت سياسة لا تراعي الذاكرة المؤقتة على نموذج متقدم ما يعادل 4.88 مرة أكثر من خط الأساس المراعي للذاكرة، رغم معالجتها الرموز نفسها.
الخلاصة لمن يشغّلون وكلاء LLM: لا تعتمد وفورات التوجيه على أسعار النماذج وحدها، بل على طريقة تفاعل التوجيه مع الحالة وإعادة استخدام الذاكرة المؤقتة. فالتوجيه قرار لإدارة الحالة بقدر ما هو قرار تسعير، والحالة تقيم في البيئة التشغيلية نفسها.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing