पैसे बचाने के लिए LLM के बीच अनुरोधों की रूटिंग सुनने में सरल लगती है: आसान कार्य सस्ते मॉडल को और कठिन कार्य फ्रंटियर मॉडल को भेजें। लेकिन सत्र के बीच मॉडल बदलने की एक छिपी लागत होती है। नए मॉडल ने बातचीत का इतिहास कभी नहीं देखा होता, इसलिए उसे पूरे सत्र को शुरू से पूरी कीमत पर प्रोसेस करना पड़ता है। यह कोल्ड-कैश प्रीफिल LLM सेवा के सबसे महंगे संचालनों में से एक हो सकता है।
माइक्रोसॉफ्ट Azure Research का अगस्त 2026 का एक अध्ययन, जिसमें 1.35 करोड़ GitHub Copilot सत्र और 76 करोड़ मॉडल कॉल शामिल थे, इस समस्या को स्पष्ट करता है। एक टर्न के भीतर, प्रॉम्प्ट का लगभग 90% कैश से दोबारा उपयोग किया जा सकता था। उसी मॉडल पर टर्न सीमा पार करने पर यह घटकर 55% रह गया, और मॉडल बदलने पर यह केवल 8% रह गया। लगभग 6.4% सत्र मॉडल बदलते हैं, अक्सर त्रुटियों या रेट लिमिट के कारण, यानी कई उपयोगकर्ता अनजाने में यह लागत चुकाते हैं।
प्रभाव को सीधे मापने के लिए, लेखक ने प्रीफिक्स कैशिंग वाले vLLM सर्वर पर 20-टर्न वाले समान एजेंट सत्र तीन रूटिंग नीतियों से चलाए: स्टिकी रूटिंग, प्रति-अनुरोध अदल-बदल, और फेज-बाउंड्री स्विचिंग। गेटवे पर प्रति-अनुरोध रूटिंग ने स्टिकी रूटिंग की तुलना में लगभग दोगुना कैश नष्ट किया और कच्चे मूल्य अंतर से निहित 40 प्रतिशत अंकों की बचत में से केवल 13 अंक ही दिए। फेज-बाउंड्री रूटिंग, जो एजेंट वर्कफ़्लो के किसी चरण के समाप्त होने पर ही स्विच करती है, उनमें से 29 अंक हासिल कर सकी। फ्रंटियर मॉडल पर बिना कैश-विचार वाली नीति, समान टोकन प्रोसेस करने के बावजूद, कैश-जागरूक आधार रेखा से 4.88 गुना अधिक महंगी रही।
LLM एजेंट चलाने वालों के लिए सबक यह है: रूटिंग से होने वाली बचत केवल मॉडल कीमतों पर निर्भर नहीं करती, बल्कि इस पर भी कि रूटिंग स्टेट और कैश पुनः उपयोग के साथ कैसे बातचीत करती है। रूटिंग जितना मूल्य का निर्णय है, उतना ही स्टेट-प्रबंधन का भी, और वही स्टेट हार्नेस में रहता है।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित