How Smart Model Routing Can Cut LLM Costs by 10X

When an application adopts a large language model (LLM), they generally choose the most capable model possible. This means that every single request is sent to that expensive model. While this approach is easier to implement, it can become quite expensive in the long run. For example, a request such as “classify this support ticket as billing, technical, or account-related” doesn’t require the same level of reasoning as “investigate why these financial records don’t match properly and explain the likely cause.”

With smart model routing, we can solve this problem. In such a routing approach, we choose a specific model for each request. In other words, simple work is sent to a small model that might be less expensive, and difficult work is routed to a more capable model. If most requests are simple, this approach can reduce the total cost in a big way, sometimes by even around 10 times. Also, the quality of the response doesn’t go down noticeably.

However, cost reduction isn’t a given. It also depends on the types of requests the application receives, the price difference between models, and how well the routing system performs. The total cost of using an LLM API usually depends on the number of tokens processed. Input tokens include the user’s message, system instructions, conversation history, and any documents supplied to the model. Output tokens are the tokens generated within the response. Larger and more capable models generally cost more because they require more computing resources.

For example, imagine a customer-support application that has to process a million requests per month. If each request goes to the most powerful model, the company has to pay a premium price even for work that is quite simple. You could think of this as hiring a senior software architect to rename files, sort support tickets, and format dates—a waste of capability and poor resource management.

عندما يتبنى تطبيق نموذج لغة كبير (LLM)، فإنه عادةً ما يختار النموذج الأكثر قدرة. هذا يعني أن كل طلب يُرسل إلى ذلك النموذج المكلف. على الرغم من أن هذا النهج أسهل في التنفيذ، إلا أنه قد يصبح مكلفًا للغاية على المدى الطويل. على سبيل المثال، طلب مثل "تصنيف هذه التذكرة الداعمة كفوترة أو تقنية أو متعلقة بالحساب" لا يتطلب نفس مستوى التفكير مثل "التحقيق في سبب عدم تطابق هذه السجلات المالية بشكل صحيح وشرح السبب المحتمل".

مع التوجيه الذكي للنماذج، يمكننا حل هذه المشكلة. في هذا النهج، نختار نموذجًا محددًا لكل طلب. بمعنى آخر، يُرسل العمل البسيط إلى نموذج صغير قد يكون أقل تكلفة، ويُوجَّه العمل الصعب إلى نموذج أكثر قدرة. إذا كانت معظم الطلبات بسيطة، يمكن لهذا النهج أن يقلل التكلفة الإجمالية بشكل كبير، أحيانًا حتى حوالي 10 مرات. كما أن جودة الاستجابة لا تنخفض بشكل ملحوظ.

ومع ذلك، فإن خفض التكلفة ليس مضمونًا. يعتمد أيضًا على أنواع الطلبات التي يتلقاها التطبيق، والفرق في الأسعار بين النماذج، ومدى جودة أداء نظام التوجيه. تعتمد التكلفة الإجمالية لاستخدام واجهة برمجة تطبيقات LLM عادةً على عدد الرموز المميزة المعالجة. تشمل الرموز المميزة للإدخال رسالة المستخدم، وتعليمات النظام، وسجل المحادثة، وأي مستندات مقدمة للنموذج. رموز الإخراج هي الرموز المولدة داخل الاستجابة. النماذج الأكبر والأكثر قدرة تكلف أكثر عمومًا لأنها تتطلب موارد حوسبة أكثر.

على سبيل المثال، تخيل تطبيق دعم عملاء يجب أن يعالج مليون طلب شهريًا. إذا ذهب كل طلب إلى النموذج الأقوى، يتعين على الشركة دفع سعر مميز حتى للعمل البسيط جدًا. يمكنك التفكير في هذا على أنه توظيف مهندس برمجيات كبير لإعادة تسمية الملفات وفرز تذاكر الدعم وتنسيق التواريخ—إهدار للقدرة وسوء إدارة للموارد.

যখন একটি অ্যাপ্লিকেশন বড় ভাষা মডেল (LLM) গ্রহণ করে, তারা সাধারণত সবচেয়ে সক্ষম মডেলটি বেছে নেয়। এর অর্থ হল প্রতিটি অনুরোধ সেই ব্যয়বহুল মডেলে পাঠানো হয়। যদিও এই পদ্ধতিটি বাস্তবায়ন করা সহজ, দীর্ঘমেয়াদে এটি বেশ ব্যয়বহুল হয়ে উঠতে পারে। উদাহরণস্বরূপ, "এই সাপোর্ট টিকিটটি বিলিং, প্রযুক্তিগত বা অ্যাকাউন্ট-সম্পর্কিত হিসাবে শ্রেণীবদ্ধ করুন" এর মতো একটি অনুরোধের জন্য "এই আর্থিক রেকর্ডগুলি সঠিকভাবে মেলে না কেন তা তদন্ত করুন এবং সম্ভাব্য কারণ ব্যাখ্যা করুন" এর মতো একই স্তরের যুক্তির প্রয়োজন হয় না।

স্মার্ট মডেল রাউটিংয়ের মাধ্যমে, আমরা এই সমস্যার সমাধান করতে পারি। এই ধরনের রাউটিং পদ্ধতিতে, আমরা প্রতিটি অনুরোধের জন্য একটি নির্দিষ্ট মডেল নির্বাচন করি। অন্য কথায়, সহজ কাজটি একটি ছোট মডেলে পাঠানো হয় যা কম ব্যয়বহুল হতে পারে, এবং কঠিন কাজটি আরও সক্ষম মডেলে রাউট করা হয়। যদি বেশিরভাগ অনুরোধ সহজ হয়, এই পদ্ধতিটি মোট খরচ ব্যাপকভাবে কমাতে পারে, কখনও কখনও প্রায় ১০ গুণ পর্যন্ত। এছাড়াও, প্রতিক্রিয়ার মান লক্ষণীয়ভাবে কমে না।

তবে, খরচ কমানো নিশ্চিত নয়। এটি অ্যাপ্লিকেশনটি যে ধরনের অনুরোধ পায়, মডেলগুলির মধ্যে মূল্যের পার্থক্য এবং রাউটিং সিস্টেমটি কতটা ভালো কাজ করে তার উপরও নির্ভর করে। LLM API ব্যবহারের মোট খরচ সাধারণত প্রক্রিয়াকৃত টোকেনের সংখ্যার উপর নির্ভর করে। ইনপুট টোকেনগুলির মধ্যে ব্যবহারকারীর বার্তা, সিস্টেম নির্দেশাবলী, কথোপকথনের ইতিহাস এবং মডেলকে দেওয়া যেকোনো নথি অন্তর্ভুক্ত। আউটপুট টোকেন হল প্রতিক্রিয়ার মধ্যে উৎপন্ন টোকেন। বড় এবং আরও সক্ষম মডেল সাধারণত বেশি খরচ করে কারণ তাদের আরও কম্পিউটিং সংস্থান প্রয়োজন।

উদাহরণস্বরূপ, একটি গ্রাহক সহায়তা অ্যাপ্লিকেশন কল্পনা করুন যা প্রতি মাসে দশ লক্ষ অনুরোধ প্রক্রিয়া করতে হয়। যদি প্রতিটি অনুরোধ সবচেয়ে শক্তিশালী মডেলে যায়, তবে কোম্পানিকে বেশ সহজ কাজের জন্যও প্রিমিয়াম মূল্য দিতে হয়। আপনি এটিকে ফাইল পুনঃনামকরণ, সাপোর্ট টিকিট সাজানো এবং তারিখ ফর্ম্যাট করার জন্য একজন সিনিয়র সফটওয়্যার আর্কিটেক্ট নিয়োগের মতো ভাবতে পারেন—ক্ষমতার অপচয় এবং দুর্বল সম্পদ ব্যবস্থাপনা।

Wenn eine Anwendung ein großes Sprachmodell (LLM) übernimmt, wählt sie in der Regel das leistungsfähigste Modell. Das bedeutet, dass jede einzelne Anfrage an dieses teure Modell gesendet wird. Obwohl dieser Ansatz einfacher zu implementieren ist, kann er auf lange Sicht ziemlich teuer werden. Zum Beispiel erfordert eine Anfrage wie "klassifizieren Sie dieses Support-Ticket als Abrechnung, technisch oder konto-bezogen" nicht das gleiche Maß an Denkvermögen wie "untersuchen Sie, warum diese Finanzunterlagen nicht richtig übereinstimmen, und erklären Sie die wahrscheinliche Ursache".

Mit intelligentem Modell-Routing können wir dieses Problem lösen. Bei einem solchen Routing-Ansatz wählen wir für jede Anfrage ein bestimmtes Modell. Mit anderen Worten: Einfache Arbeit wird an ein kleines Modell gesendet, das möglicherweise weniger kostet, und schwierige Arbeit wird an ein leistungsfähigeres Modell weitergeleitet. Wenn die meisten Anfragen einfach sind, kann dieser Ansatz die Gesamtkosten erheblich senken, manchmal sogar um etwa das 10-fache. Außerdem sinkt die Qualität der Antwort nicht spürbar.

Allerdings ist die Kostensenkung nicht garantiert. Sie hängt auch von der Art der Anfragen ab, die die Anwendung erhält, von der Preisdifferenz zwischen den Modellen und davon, wie gut das Routing-System funktioniert. Die Gesamtkosten für die Nutzung einer LLM-API hängen in der Regel von der Anzahl der verarbeiteten Token ab. Eingabetoken umfassen die Nachricht des Benutzers, Systemanweisungen, den Gesprächsverlauf und alle dem Modell bereitgestellten Dokumente. Ausgabetoken sind die in der Antwort generierten Token. Größere und leistungsfähigere Modelle kosten in der Regel mehr, da sie mehr Rechenressourcen benötigen.

Stellen Sie sich zum Beispiel eine Kundensupport-Anwendung vor, die eine Million Anfragen pro Monat verarbeiten muss. Wenn jede Anfrage an das leistungsstärkste Modell geht, muss das Unternehmen auch für ziemlich einfache Arbeit einen Premium-Preis zahlen. Sie könnten sich das so vorstellen, als würden Sie einen leitenden Software-Architekten einstellen, um Dateien umzubenennen, Support-Tickets zu sortieren und Daten zu formatieren – eine Verschwendung von Fähigkeiten und schlechtes Ressourcenmanagement.

Cuando una aplicación adopta un modelo de lenguaje grande (LLM), generalmente elige el modelo más capaz posible. Esto significa que cada solicitud se envía a ese modelo costoso. Aunque este enfoque es más fácil de implementar, puede volverse bastante caro a largo plazo. Por ejemplo, una solicitud como "clasificar este ticket de soporte como facturación, técnico o relacionado con la cuenta" no requiere el mismo nivel de razonamiento que "investigar por qué estos registros financieros no coinciden correctamente y explicar la causa probable".

Con el enrutamiento inteligente de modelos, podemos resolver este problema. En este enfoque de enrutamiento, elegimos un modelo específico para cada solicitud. En otras palabras, el trabajo simple se envía a un modelo pequeño que puede ser menos costoso, y el trabajo difícil se enruta a un modelo más capaz. Si la mayoría de las solicitudes son simples, este enfoque puede reducir el costo total de manera significativa, a veces incluso alrededor de 10 veces. Además, la calidad de la respuesta no disminuye notablemente.

Sin embargo, la reducción de costos no está garantizada. También depende de los tipos de solicitudes que recibe la aplicación, la diferencia de precio entre modelos y qué tan bien funciona el sistema de enrutamiento. El costo total de usar una API de LLM generalmente depende del número de tokens procesados. Los tokens de entrada incluyen el mensaje del usuario, instrucciones del sistema, historial de conversación y cualquier documento proporcionado al modelo. Los tokens de salida son los tokens generados dentro de la respuesta. Los modelos más grandes y capaces generalmente cuestan más porque requieren más recursos computacionales.

Por ejemplo, imagine una aplicación de atención al cliente que tiene que procesar un millón de solicitudes al mes. Si cada solicitud va al modelo más potente, la empresa tiene que pagar un precio premium incluso por trabajo bastante simple. Podrías pensar en esto como contratar a un arquitecto de software senior para renombrar archivos, clasificar tickets de soporte y formatear fechas: un desperdicio de capacidad y una mala gestión de recursos.

Lorsqu'une application adopte un grand modèle de langage (LLM), elle choisit généralement le modèle le plus capable possible. Cela signifie que chaque demande est envoyée à ce modèle coûteux. Bien que cette approche soit plus facile à mettre en œuvre, elle peut devenir assez coûteuse à long terme. Par exemple, une demande telle que "classer ce ticket de support comme facturation, technique ou lié au compte" ne nécessite pas le même niveau de raisonnement que "enquêter sur pourquoi ces dossiers financiers ne correspondent pas correctement et expliquer la cause probable".

Avec le routage intelligent des modèles, nous pouvons résoudre ce problème. Dans une telle approche de routage, nous choisissons un modèle spécifique pour chaque demande. En d'autres termes, le travail simple est envoyé à un petit modèle qui peut être moins coûteux, et le travail difficile est acheminé vers un modèle plus capable. Si la plupart des demandes sont simples, cette approche peut réduire considérablement le coût total, parfois même d'environ 10 fois. De plus, la qualité de la réponse ne diminue pas de manière notable.

Cependant, la réduction des coûts n'est pas garantie. Cela dépend également des types de demandes reçues par l'application, de la différence de prix entre les modèles et de la performance du système de routage. Le coût total de l'utilisation d'une API LLM dépend généralement du nombre de jetons traités. Les jetons d'entrée incluent le message de l'utilisateur, les instructions système, l'historique de conversation et tout document fourni au modèle. Les jetons de sortie sont les jetons générés dans la réponse. Les modèles plus grands et plus capables coûtent généralement plus cher car ils nécessitent plus de ressources informatiques.

Par exemple, imaginez une application de support client qui doit traiter un million de demandes par mois. Si chaque demande va au modèle le plus puissant, l'entreprise doit payer un prix premium même pour un travail assez simple. Vous pourriez considérer cela comme embaucher un architecte logiciel senior pour renommer des fichiers, trier des tickets de support et formater des dates—un gaspillage de capacité et une mauvaise gestion des ressources.

जब कोई एप्लिकेशन बड़े भाषा मॉडल (LLM) को अपनाता है, तो वे आम तौर पर सबसे सक्षम मॉडल चुनते हैं। इसका मतलब है कि हर अनुरोध उस महंगे मॉडल को भेजा जाता है। हालांकि यह दृष्टिकोण लागू करना आसान है, लंबे समय में यह काफी महंगा हो सकता है। उदाहरण के लिए, "इस समर्थन टिकट को बिलिंग, तकनीकी या खाता-संबंधित के रूप में वर्गीकृत करें" जैसे अनुरोध को उसी स्तर के तर्क की आवश्यकता नहीं होती जैसे "जांच करें कि ये वित्तीय रिकॉर्ड सही ढंग से मेल क्यों नहीं खाते और संभावित कारण बताएं"।

स्मार्ट मॉडल रूटिंग के साथ, हम इस समस्या को हल कर सकते हैं। इस तरह के रूटिंग दृष्टिकोण में, हम प्रत्येक अनुरोध के लिए एक विशिष्ट मॉडल चुनते हैं। दूसरे शब्दों में, सरल काम को एक छोटे मॉडल पर भेजा जाता है जो कम खर्चीला हो सकता है, और कठिन काम को अधिक सक्षम मॉडल पर भेजा जाता है। यदि अधिकांश अनुरोध सरल हैं, तो यह दृष्टिकोण कुल लागत को बड़े पैमाने पर कम कर सकता है, कभी-कभी लगभग 10 गुना तक। साथ ही, प्रतिक्रिया की गुणवत्ता में उल्लेखनीय कमी नहीं आती।

हालांकि, लागत में कमी निश्चित नहीं है। यह एप्लिकेशन द्वारा प्राप्त अनुरोधों के प्रकार, मॉडलों के बीच मूल्य अंतर और रूटिंग सिस्टम के प्रदर्शन पर भी निर्भर करता है। LLM API का उपयोग करने की कुल लागत आम तौर पर संसाधित टोकन की संख्या पर निर्भर करती है। इनपुट टोकन में उपयोगकर्ता का संदेश, सिस्टम निर्देश, बातचीत का इतिहास और मॉडल को दिए गए किसी भी दस्तावेज़ शामिल होते हैं। आउटपुट टोकन प्रतिक्रिया में उत्पन्न टोकन होते हैं। बड़े और अधिक सक्षम मॉडल आम तौर पर अधिक महंगे होते हैं क्योंकि उन्हें अधिक कंप्यूटिंग संसाधनों की आवश्यकता होती है।

उदाहरण के लिए, एक ग्राहक सहायता एप्लिकेशन की कल्पना करें जिसे प्रति माह दस लाख अनुरोधों को संसाधित करना है। यदि प्रत्येक अनुरोध सबसे शक्तिशाली मॉडल पर जाता है, तो कंपनी को काफी सरल काम के लिए भी प्रीमियम मूल्य चुकाना पड़ता है। आप इसे एक वरिष्ठ सॉफ्टवेयर आर्किटेक्ट को फाइलों का नाम बदलने, समर्थन टिकटों को छांटने और तारीखों को प्रारूपित करने के लिए काम पर रखने के रूप में सोच सकते हैं—क्षमता की बर्बादी और खराब संसाधन प्रबंधन।

Ketika sebuah aplikasi mengadopsi model bahasa besar (LLM), mereka biasanya memilih model yang paling mampu. Ini berarti setiap permintaan dikirim ke model yang mahal tersebut. Meskipun pendekatan ini lebih mudah diimplementasikan, bisa menjadi cukup mahal dalam jangka panjang. Misalnya, permintaan seperti "klasifikasikan tiket dukungan ini sebagai penagihan, teknis, atau terkait akun" tidak memerlukan tingkat penalaran yang sama dengan "selidiki mengapa catatan keuangan ini tidak cocok dengan benar dan jelaskan kemungkinan penyebabnya".

Dengan routing model cerdas, kita dapat memecahkan masalah ini. Dalam pendekatan routing seperti ini, kita memilih model tertentu untuk setiap permintaan. Dengan kata lain, pekerjaan sederhana dikirim ke model kecil yang mungkin lebih murah, dan pekerjaan sulit diarahkan ke model yang lebih mampu. Jika sebagian besar permintaan sederhana, pendekatan ini dapat mengurangi biaya total secara signifikan, kadang-kadang bahkan sekitar 10 kali lipat. Selain itu, kualitas respons tidak menurun secara signifikan.

Namun, pengurangan biaya tidak dijamin. Ini juga tergantung pada jenis permintaan yang diterima aplikasi, perbedaan harga antar model, dan seberapa baik sistem routing bekerja. Biaya total menggunakan API LLM biasanya tergantung pada jumlah token yang diproses. Token input mencakup pesan pengguna, instruksi sistem, riwayat percakapan, dan dokumen apa pun yang diberikan ke model. Token output adalah token yang dihasilkan dalam respons. Model yang lebih besar dan lebih mampu umumnya lebih mahal karena membutuhkan lebih banyak sumber daya komputasi.

Misalnya, bayangkan aplikasi dukungan pelanggan yang harus memproses satu juta permintaan per bulan. Jika setiap permintaan pergi ke model paling kuat, perusahaan harus membayar harga premium bahkan untuk pekerjaan yang cukup sederhana. Anda bisa menganggap ini seperti mempekerjakan arsitek perangkat lunak senior untuk mengganti nama file, mengurutkan tiket dukungan, dan memformat tanggal—pemborosan kemampuan dan manajemen sumber daya yang buruk.

アプリケーションが大規模言語モデル（LLM）を採用する場合、通常は最も高性能なモデルを選択します。つまり、すべてのリクエストがその高価なモデルに送信されます。このアプローチは実装が簡単ですが、長期的にはかなり高額になる可能性があります。例えば、「このサポートチケットを請求、技術、アカウント関連に分類する」というリクエストは、「これらの財務記録が正しく一致しない理由を調査し、考えられる原因を説明する」と同じレベルの推論を必要としません。

スマートモデルルーティングを使用すると、この問題を解決できます。このようなルーティングアプローチでは、各リクエストに対して特定のモデルを選択します。言い換えれば、単純な作業は安価な小さなモデルに送信され、難しい作業はより高性能なモデルにルーティングされます。ほとんどのリクエストが単純な場合、このアプローチは総コストを大幅に削減でき、時には約10倍にもなります。また、応答の品質は目立って低下しません。

ただし、コスト削減は保証されていません。アプリケーションが受け取るリクエストの種類、モデル間の価格差、ルーティングシステムの性能にも依存します。LLM APIの使用総コストは通常、処理されるトークン数に依存します。入力トークンには、ユーザーのメッセージ、システム指示、会話履歴、モデルに提供されたドキュメントが含まれます。出力トークンは、応答内で生成されるトークンです。より大きく高性能なモデルは、より多くの計算リソースを必要とするため、一般的にコストが高くなります。

例えば、月に100万件のリクエストを処理する必要があるカスタマーサポートアプリケーションを想像してください。各リクエストが最も強力なモデルに送信される場合、会社はかなり単純な作業に対してもプレミアム価格を支払わなければなりません。これは、ファイルの名前変更、サポートチケットの並べ替え、日付のフォーマットのためにシニアソフトウェアアーキテクトを雇うようなもので、能力の無駄遣いであり、リソース管理が不十分です。

Quando um aplicativo adota um modelo de linguagem grande (LLM), geralmente escolhe o modelo mais capaz possível. Isso significa que cada solicitação é enviada para esse modelo caro. Embora essa abordagem seja mais fácil de implementar, pode se tornar bastante cara a longo prazo. Por exemplo, uma solicitação como "classificar este ticket de suporte como cobrança, técnico ou relacionado à conta" não requer o mesmo nível de raciocínio que "investigar por que esses registros financeiros não correspondem corretamente e explicar a causa provável".

Com o roteamento inteligente de modelos, podemos resolver esse problema. Nessa abordagem de roteamento, escolhemos um modelo específico para cada solicitação. Em outras palavras, o trabalho simples é enviado para um modelo pequeno que pode ser menos caro, e o trabalho difícil é roteado para um modelo mais capaz. Se a maioria das solicitações for simples, essa abordagem pode reduzir o custo total de forma significativa, às vezes até cerca de 10 vezes. Além disso, a qualidade da resposta não diminui notavelmente.

No entanto, a redução de custos não é garantida. Também depende dos tipos de solicitações que o aplicativo recebe, da diferença de preço entre os modelos e do desempenho do sistema de roteamento. O custo total de usar uma API de LLM geralmente depende do número de tokens processados. Tokens de entrada incluem a mensagem do usuário, instruções do sistema, histórico de conversa e quaisquer documentos fornecidos ao modelo. Tokens de saída são os tokens gerados na resposta. Modelos maiores e mais capazes geralmente custam mais porque exigem mais recursos computacionais.

Por exemplo, imagine um aplicativo de suporte ao cliente que precisa processar um milhão de solicitações por mês. Se cada solicitação for para o modelo mais poderoso, a empresa tem que pagar um preço premium mesmo para trabalho bastante simples. Você poderia pensar nisso como contratar um arquiteto de software sênior para renomear arquivos, classificar tickets de suporte e formatar datas—um desperdício de capacidade e má gestão de recursos.

Когда приложение использует большую языковую модель (LLM), оно обычно выбирает самую мощную модель. Это означает, что каждый запрос отправляется на эту дорогую модель. Хотя такой подход проще в реализации, в долгосрочной перспективе он может стать довольно дорогим. Например, запрос типа «классифицировать этот тикет поддержки как биллинг, технический или связанный с аккаунтом» не требует того же уровня рассуждений, что и «расследовать, почему эти финансовые записи не совпадают должным образом, и объяснить вероятную причину».

С помощью умной маршрутизации моделей мы можем решить эту проблему. При таком подходе мы выбираем конкретную модель для каждого запроса. Другими словами, простая работа отправляется на маленькую модель, которая может быть дешевле, а сложная работа направляется на более мощную модель. Если большинство запросов простые, этот подход может значительно снизить общую стоимость, иногда даже примерно в 10 раз. Кроме того, качество ответа заметно не снижается.

Однако снижение затрат не гарантировано. Это также зависит от типов запросов, которые получает приложение, разницы в ценах между моделями и того, насколько хорошо работает система маршрутизации. Общая стоимость использования API LLM обычно зависит от количества обработанных токенов. Входные токены включают сообщение пользователя, системные инструкции, историю разговора и любые документы, предоставленные модели. Выходные токены — это токены, сгенерированные в ответе. Более крупные и мощные модели обычно стоят дороже, потому что требуют больше вычислительных ресурсов.

Например, представьте приложение поддержки клиентов, которое должно обрабатывать миллион запросов в месяц. Если каждый запрос идет на самую мощную модель, компания должна платить премиальную цену даже за довольно простую работу. Вы можете думать об этом как о найме старшего архитектора программного обеспечения для переименования файлов, сортировки тикетов поддержки и форматирования дат — пустая трата возможностей и плохое управление ресурсами.

当应用程序采用大型语言模型（LLM）时，他们通常会选择最强大的模型。这意味着每个请求都会发送到那个昂贵的模型。虽然这种方法更容易实现，但从长远来看可能会变得相当昂贵。例如，像“将此支持工单分类为账单、技术或账户相关”这样的请求，不需要与“调查为什么这些财务记录不匹配并解释可能的原因”相同的推理水平。

通过智能模型路由，我们可以解决这个问题。在这种路由方法中，我们为每个请求选择特定的模型。换句话说，简单的工作被发送到可能更便宜的小模型，而困难的工作被路由到更强大的模型。如果大多数请求是简单的，这种方法可以大幅降低总成本，有时甚至降低约10倍。此外，响应的质量不会明显下降。

然而，成本降低并非必然。它还取决于应用程序接收的请求类型、模型之间的价格差异以及路由系统的性能。使用LLM API的总成本通常取决于处理的令牌数量。输入令牌包括用户消息、系统指令、对话历史以及提供给模型的任何文档。输出令牌是响应中生成的令牌。更大、更强大的模型通常成本更高，因为它们需要更多的计算资源。

例如，想象一个客户支持应用程序每月需要处理一百万次请求。如果每个请求都发送到最强大的模型，公司即使对于相当简单的工作也必须支付高价。你可以把这想象成雇佣一位高级软件架构师来重命名文件、整理支持工单和格式化日期——这是能力的浪费和资源管理不善。