अब कोई भी एकल API कॉल के साथ एक LLM डेमो बना सकता है। उसी फीचर को रियल यूजर्स, रियल डेटा और रियल बिल के सामने जीवित रहने में सक्षम बनाना एक अलग काम है। उस काम को पाँच कौशलों में समझा जा सकता है, जो लगभग हर उस प्रोडक्शन सिस्टम में दिखाई देते हैं जिसमें मैंने काम किया या समीक्षा की है: पुनर्प्राप्ति, रूटिंग, गार्डरेल्स, ईवल्स और एजेंट लूप्स। प्रत्येक एक एक ऐसे सवाल का जवाब देता है जिसे एक फ्रंटियर मॉडल अकेले नहीं संभाल सकता। हमारी कंपनी का डेटा कहाँ से आता है? बिल इतना अधिक क्यों है? जब कोई हॉस्टाइल प्रॉम्प्ट भेजता है तो क्या होता है? क्या मेरा अंतिम बदलाव चीज़ों को बेहतर या बुरा कर दिया? मैं एक मॉडल को बिना गिरे मुलाक़ल पूछन वाले काम कराने के लिए कैसे करूँ? स्किल #1: RAG, अपने डेटा में मॉडल को जमीन पर उतारना एक बेस मॉडल आपकी कंपनी के दस्तावेज़ों को नहीं जानता, और जब भी वे बदलते हैं तो उनका फ़ाइन-ट्यूनिंग करना धीमा और महंगा है। रीट्रीवल-ऑग्मेंटेड जनरेशन (RAG) क्वेरी समय पर संबंधित दस्तावेज़ प्राप्त करता है और उन्हें मॉडल के संदर्भ के रूप में पास करता है। यह अभी भी प्रोडक्शन में सबसे आम LLM पैटर्न है और आमतौर पर एक करिकुलम पहला सिखाता है। मज़ेदार काम पुनर्प्राप्ति में है। सही चंक वापस करना निर्भर करता है कि आप दस्तावेज़ों को कैसे विभाजित करते हैं (चंकिंग), क्या आप कीवर्ड और सेमैंटिक खोज को मिलाते हैं (हाइब्रिड रीट्रीवल) और क्या आप मॉडल तक पहुँचने से पहले परिणामों को फिर से व्यवस्थित करते हैं (रीरैंकिंग)। स्किल #2: मॉडल रूटिंग: आवश्यक कार्य के लिए मॉडल के लिए भुगतान करना हर अनुरोध को एक फ्रंटियर मॉडल भेजना एक ऐसे बिल की ओर जाता है जिसे कोई नहीं समझ सकता। रूटिंग आसान, उच्च-आयतन अनुरोधों को एक छोटे या स्थानीय मॉडल की ओर भेजता है और महंगे मॉडल को मुश्किल कार्यों के लिए रखता है। दोहराए गए प्रॉम्प्ट्स के लिए कैश जोड़ने से प्रोडक्शन इन्फ्रेंस बिल में 40% से 70% की कमी आती है, जिसकी वजह से रूटिंग एक उन्नत ट्रिक से एक बेसलाइन अपेक्षा में बदल गई। इस कौशल का मतलब है एक अनुरोध को स्कोर करना और एक स्तर चुनना।