यहाँ एक सवाल है जो आपकी वित्त टीम से पूछने लायक है: इस साल का AI बजट कितना बचा है? आश्चर्यजनक रूप से कई कंपनियों के लिए, ईमानदार जवाब है "ज़्यादा नहीं"। कुछ अप्रैल तक खत्म हो जाती हैं। वार्षिक बजट, एक तिमाही में गायब। बड़ा कारण यह है कि हम इसका उपयोग कैसे कर रहे हैं। हम चैटबॉट से सवाल पूछने से एजेंट चलाने की ओर बढ़ गए हैं। और एजेंट सिर्फ जवाब नहीं देते। वे टूल कॉल करते हैं, फ़ाइलें पढ़ते हैं, परिणाम जांचते हैं और और टूल कॉल करते हैं। उनमें से हर कदम टोकन जलाता है। एक एजेंटिक अनुरोध की लागत एक सादे चैट संदेश से कई गुना अधिक हो सकती है। मदद नहीं करता कि कीमतें खुद चलती रहती हैं। सब्सक्रिप्शन हैं। पे-एज़-यू-गो API एक्सेस है। कुछ महीनों के लिए दिखने वाले प्रोमो हैं जो लोगों को स्विच करने से रोकते हैं, और हर कुछ महीनों में अपने स्वयं के मूल्य बिंदुओं के साथ नए टॉप-टियर मॉडल आते हैं। तो इससे पहले कि हम बिल कम करने के तरीके में आएं, आइए सुनिश्चित करें कि हम सभी समझते हैं कि हम वास्तव में किसके लिए भुगतान कर रहे हैं। क्योंकि एक बार जब आप देखते हैं कि मीटर कैसे काम करता है, बचत स्पष्ट हो जाती है। एक LLM एक बार में एक टोकन की भविष्यवाणी करता है। प्रत्येक टोकन के लिए, यह गणित का एक ढेर चलाता है। अगले टोकन की भविष्यवाणी करने के लिए, इसे इससे पहले के हर एक टोकन के लिए गणित की आवश्यकता होती है। गोल-गोल, जब तक यह एक विशेष "मैं कर चुका हूँ" टोकन उत्पन्न नहीं करता। हर API कॉल को एक टोल रोड के रूप में चित्रित करें। आप अंदर जाने के लिए भुगतान करते हैं (इनपुट टोकन), और आप बाहर आने के लिए भुगतान करते हैं (आउटपुट टोकन)। आउटपुट अधिक महंगी लेन है। Anthropic की लाइनअप को उदाहरण के रूप में लें। Claude Fable 5 की कीमत $10 प्रति मिलियन टोकन इनपुट और $50 प्रति मिलियन आउटपुट है। यह एक ही कंपनी के सबसे सस्ते और सबसे महंगे मॉडल के बीच 10x का अंतर है। अब उस प्राइस शीट पर सबसे छोटी लाइन देखें। कैश्ड टोकन की लागत सामान्य टोकन के दसवें हिस्से के बराबर है। उस नंबर को अपनी जेब में रखें। यह इस लेख में बाकी सब चीजों से अधिक मूल्यवान है। कैशिंग के बिना, मॉडल को हर बार पूरी बातचीत की आवश्यकता होती है। आप संदेश एक भेजते हैं। यह संदेश एक और उसका उत्तर वापस भेजता है। आप पूरा लॉट और संदेश तीन भेजते हैं। यह वह सब और उत्तर दो वापस भेजता है।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित