प्रोडक्शन AI की आवर्ती लागत इन्फरेंस नहीं है। यह पुनः-योग्यता है: हर बार जब कोई मॉडल आपके नीचे बदलता है तो eval रीरन, प्रॉम्प्ट रीट्यूनिंग और रिग्रेशन टेस्टिंग। ईमेल मंगलवार को आया। एक मॉडल जिसे हम एक वर्ष से अधिक समय से प्रोडक्शन में चला रहे थे, जिसे जानबूझकर एक विशिष्ट संस्करण पर पिन किया गया था, उसे डेप्रिकेट किया जा रहा था। हमारे पास माइग्रेट करने की एक विंडो थी। उसके बाद, एंडपॉइंट त्रुटियाँ लौटाना शुरू कर देगा। हमने वह सब किया था जो सावधान-इंजीनियरिंग प्लेबुक आपको करने के लिए कहती है। हम किसी नवीनतम एलियास पर तैर नहीं रहे थे जो रातों-रात हमारे नीचे बदल सके। हमने सटीक मॉडल संस्करण पिन किया, इसे कॉन्फ़िग में लिखा, और इसे किसी अन्य निर्भरता की तरह माना जिसे हम समीक्षा के बिना स्थानांतरित नहीं होने देना चाहते थे। पिन को सुरक्षित विकल्प माना गया था। डेप्रिकेशन नोटिस ने कुछ स्पष्ट कर दिया जिसे पिन चुपचाप छिपा रहा था: एक मॉडल संस्करण को पिन करना आपको परिवर्तन से प्रतिरक्षा नहीं दिलाता। यह आपको एक देरी दिलाता है। ज़मीन अभी भी हिलती है। आप बस मंगलवार चुन सकते हैं। यह अंतर प्रोडक्शन AI में सबसे कम बजट वाली लागत है। टीमें अपने AI खर्च को इन्फरेंस के रूप में मॉडल करती हैं: टोकन इन, टोकन आउट, गुणा मूल्य। वे मॉडल चुनाव को अनुकूलित करते हैं, वे प्रॉम्प्ट लंबाई को अनुकूलित करते हैं, वे बहस करते हैं कि क्या सस्ता मॉडल काफी अच्छा है। लगभग किसी के बजट में उस दिन के लिए कोई पंक्ति नहीं है जब मॉडल बदलता है और पूरे सिस्टम को फिर से सही साबित करना पड़ता है। मैं उस पंक्ति को पुनः-योग्यता कर कहने जा रहा हूँ, और इस लेख के अंत तक मैं चाहता हूँ कि आपके पास इसके लिए एक नाम और इसके आसपास योजना बनाने का एक तरीका दोनों हों। पिन वास्तव में आपको किससे बचाता है, और किससे नहीं एक मॉडल संस्करण को पिन करना वास्तव में अच्छा अभ्यास है। यह मौन व्यवहार बहाव को रोकता है, जहाँ एक प्रदाता एलियास के पीछे वेट अपडेट करता है और आपके आउटपुट आपके कोड की एक भी पंक्ति बदले बिना बदल जाते हैं। यदि आपने कभी किसी eval स्कोर को बिना किसी कारण के हिलते देखा है जिसे आप अपने स्वयं के कमिट में पा सकें, तो आप पहले से जानते हैं कि टीमें पिन क्यों करती हैं। लेकिन एक पिन आपकी तरफ के दरवाजे पर एक ताला है जिसे प्रदाता भी नियंत्रित करता है। प्रदाता डेप्रिकेट करते हैं। 2026 में गति अगर कुछ है तो तेज हुई है: नए फ्रंटियर मॉडल हर कुछ महीनों में आते हैं, पुराने सूर्यास्त हो जाते हैं, और कई प्रदाताओं ने कम सूचना पर मॉडल सेवानिवृत्त किए हैं। अधिकांश टीमें वैसे भी एक मॉडल नहीं चला रही हैं। वर्तमान वास्तविकता, वर्ष भर के इंजीनियरिंग सर्वेक्षणों में प्रमाणित, यह है कि प्रोडक्शन स्टैक एक साथ कई मॉडल उड़ान में रखते हैं: कठिन तर्क के लिए एक फ्रंटियर मॉडल, नियमित कॉल के लिए एक सस्ता मॉडल, कभी-कभी उस डेटा के लिए एक स्व-होस्टेड मॉडल जो इमारत से बाहर नहीं जा सकता। उनमें से प्रत्येक अपनी डेप्रिकेशन घड़ी पर है। तो पिन परिवर्तन को हटाता नहीं है। यह एक अप्रत्याशित परिवर्तन को एक निर्धारित में बदल देता है। यह एक वास्तविक सुधार है, क्योंकि एक निर्धारित परिवर्तन वह चीज़ है जिसके लिए आप स्टाफ और बजट कर सकते हैं। यह केवल तब आपदा है जब आपने पिन को स्थायित्व माना और उसके समाप्त होने के दिन के लिए योजना में कुछ नहीं रखा। वह चीज़ जिसे सब कीमत लगाना भूल जाते हैं: मॉडल ही एकमात्र चीज़ नहीं है जो बदलती है यहाँ वह हिस्सा है जो पुनः-योग्यता को मामूली के बजाय महंगा बनाता है। जब आप एक मॉडल संस्करण से अगले पर जाते हैं, तो मॉडल एक ड्रॉप-इन पार्ट नहीं है। पुराने मॉडल के ऊपर आपने जो कुछ भी बनाया, लगभग सब कुछ, चाहे आपने ऐसा चाहा हो या नहीं, उस मॉडल के विशिष्ट व्यवहार के लिए ट्यून किया गया था। आपके प्रॉम्प्ट उसके लिए ट्यून किए गए थे। पुराने मॉडल पर विश्वसनीय रूप से संरचित आउटपुट उत्पन्न करने वाली वाक्यांश नए पर सूक्ष्म रूप से भिन्न कुछ उत्पन्न कर सकती है। आपके फ्यू-शॉट उदाहरण इसकी विचित्रताओं के लिए कैलिब्रेट किए गए थे। आपके गार्डरेल इसके विफलता मोड के विरुद्ध सेट किए गए थे। आपके आउटपुट पार्सर उन विशिष्ट आकृतियों के विरुद्ध सख्त किए गए थे जो यह लौटाने की प्रवृत्ति रखता था। आपका तापमान और y...