लेखक तर्क करते हैं कि तृतीय पक्ष के LLM प्रदाता पर निर्भर करना आपके वास्तविक उपयोग प्रारूपों को देखने से वंचित कर देता है। प्रदाता चमकदार डैशबोर्ड प्रदान करते हैं जो इंजीनियरों को सूचित निर्णय लेने के लिए आवश्यक समय-श्रृंखला डेटा नहीं देते। इसके बजाय, लेखक बहु-प्रदाता, बहु-मॉडल एंडपॉइंट्स पर नियंत्रण प्राप्त करने के लिए अपना खुद का LLM प्रॉक्सी चलाने की सलाह देते हैं। यह सेटअप विस्तृत लॉग प्रदान करता है जो दिखाता है कि कौन सी कुंजी ने कौन सा मॉडल कब कॉल किया और क्या परिणाम हुआ। वर्चुअल API कुंजियाँ एजेंटों और हार्नेसेस में कुंजी दूषित होने से रोकती हैं। आपको बुनियादी संरचना पर नियंत्रण बनाए रखने, पुनर्विन्यास के बिना तेजी से मॉडल परिवर्तन करने और कार्रवाई योग्य टेलीमेट्री प्राप्त होती है। लेखक अपने प्रॉक्सी को कस्टम MCP एंडपॉइंट्स और बेहतर जानकारी के लिए मॉड करते हैं, जिससे तेज डिबगिंग संभव हो जैसे कि 20 सेकंड में कैश मिस के कारणों की पहचान। हालांकि वे LLM के आंतरिक कार्यप्रणाली को पूरी तरह समझ नहीं पाते, लेकिन वे सुनिश्चित करते हैं कि अनुमान सेवा के दौरान सही उपकरण स्थापना हो।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित