عندما يتبنى تطبيق نموذج لغة كبير (LLM)، فإنه عادةً ما يختار النموذج الأكثر قدرة. هذا يعني أن كل طلب يُرسل إلى ذلك النموذج المكلف. على الرغم من أن هذا النهج أسهل في التنفيذ، إلا أنه قد يصبح مكلفًا للغاية على المدى الطويل. على سبيل المثال، طلب مثل "تصنيف هذه التذكرة الداعمة كفوترة أو تقنية أو متعلقة بالحساب" لا يتطلب نفس مستوى التفكير مثل "التحقيق في سبب عدم تطابق هذه السجلات المالية بشكل صحيح وشرح السبب المحتمل".

مع التوجيه الذكي للنماذج، يمكننا حل هذه المشكلة. في هذا النهج، نختار نموذجًا محددًا لكل طلب. بمعنى آخر، يُرسل العمل البسيط إلى نموذج صغير قد يكون أقل تكلفة، ويُوجَّه العمل الصعب إلى نموذج أكثر قدرة. إذا كانت معظم الطلبات بسيطة، يمكن لهذا النهج أن يقلل التكلفة الإجمالية بشكل كبير، أحيانًا حتى حوالي 10 مرات. كما أن جودة الاستجابة لا تنخفض بشكل ملحوظ.

ومع ذلك، فإن خفض التكلفة ليس مضمونًا. يعتمد أيضًا على أنواع الطلبات التي يتلقاها التطبيق، والفرق في الأسعار بين النماذج، ومدى جودة أداء نظام التوجيه. تعتمد التكلفة الإجمالية لاستخدام واجهة برمجة تطبيقات LLM عادةً على عدد الرموز المميزة المعالجة. تشمل الرموز المميزة للإدخال رسالة المستخدم، وتعليمات النظام، وسجل المحادثة، وأي مستندات مقدمة للنموذج. رموز الإخراج هي الرموز المولدة داخل الاستجابة. النماذج الأكبر والأكثر قدرة تكلف أكثر عمومًا لأنها تتطلب موارد حوسبة أكثر.

على سبيل المثال، تخيل تطبيق دعم عملاء يجب أن يعالج مليون طلب شهريًا. إذا ذهب كل طلب إلى النموذج الأقوى، يتعين على الشركة دفع سعر مميز حتى للعمل البسيط جدًا. يمكنك التفكير في هذا على أنه توظيف مهندس برمجيات كبير لإعادة تسمية الملفات وفرز تذاكر الدعم وتنسيق التواريخ—إهدار للقدرة وسوء إدارة للموارد.