जब कोई एप्लिकेशन बड़े भाषा मॉडल (LLM) को अपनाता है, तो वे आम तौर पर सबसे सक्षम मॉडल चुनते हैं। इसका मतलब है कि हर अनुरोध उस महंगे मॉडल को भेजा जाता है। हालांकि यह दृष्टिकोण लागू करना आसान है, लंबे समय में यह काफी महंगा हो सकता है। उदाहरण के लिए, "इस समर्थन टिकट को बिलिंग, तकनीकी या खाता-संबंधित के रूप में वर्गीकृत करें" जैसे अनुरोध को उसी स्तर के तर्क की आवश्यकता नहीं होती जैसे "जांच करें कि ये वित्तीय रिकॉर्ड सही ढंग से मेल क्यों नहीं खाते और संभावित कारण बताएं"।

स्मार्ट मॉडल रूटिंग के साथ, हम इस समस्या को हल कर सकते हैं। इस तरह के रूटिंग दृष्टिकोण में, हम प्रत्येक अनुरोध के लिए एक विशिष्ट मॉडल चुनते हैं। दूसरे शब्दों में, सरल काम को एक छोटे मॉडल पर भेजा जाता है जो कम खर्चीला हो सकता है, और कठिन काम को अधिक सक्षम मॉडल पर भेजा जाता है। यदि अधिकांश अनुरोध सरल हैं, तो यह दृष्टिकोण कुल लागत को बड़े पैमाने पर कम कर सकता है, कभी-कभी लगभग 10 गुना तक। साथ ही, प्रतिक्रिया की गुणवत्ता में उल्लेखनीय कमी नहीं आती।

हालांकि, लागत में कमी निश्चित नहीं है। यह एप्लिकेशन द्वारा प्राप्त अनुरोधों के प्रकार, मॉडलों के बीच मूल्य अंतर और रूटिंग सिस्टम के प्रदर्शन पर भी निर्भर करता है। LLM API का उपयोग करने की कुल लागत आम तौर पर संसाधित टोकन की संख्या पर निर्भर करती है। इनपुट टोकन में उपयोगकर्ता का संदेश, सिस्टम निर्देश, बातचीत का इतिहास और मॉडल को दिए गए किसी भी दस्तावेज़ शामिल होते हैं। आउटपुट टोकन प्रतिक्रिया में उत्पन्न टोकन होते हैं। बड़े और अधिक सक्षम मॉडल आम तौर पर अधिक महंगे होते हैं क्योंकि उन्हें अधिक कंप्यूटिंग संसाधनों की आवश्यकता होती है।

उदाहरण के लिए, एक ग्राहक सहायता एप्लिकेशन की कल्पना करें जिसे प्रति माह दस लाख अनुरोधों को संसाधित करना है। यदि प्रत्येक अनुरोध सबसे शक्तिशाली मॉडल पर जाता है, तो कंपनी को काफी सरल काम के लिए भी प्रीमियम मूल्य चुकाना पड़ता है। आप इसे एक वरिष्ठ सॉफ्टवेयर आर्किटेक्ट को फाइलों का नाम बदलने, समर्थन टिकटों को छांटने और तारीखों को प्रारूपित करने के लिए काम पर रखने के रूप में सोच सकते हैं—क्षमता की बर्बादी और खराब संसाधन प्रबंधन।