एंटरप्राइज़ AI में अगला प्रतिस्पर्धी लाभ इस पर कम निर्भर करता है कि आप कौन सा मॉडल चुनते हैं, और इस पर अधिक निर्भर करता है कि आप उसके आसपास क्या बनाते हैं। जैसे-जैसे AI प्रयोग से उत्पादन की ओर बढ़ रहा है, मुख्य प्रश्न "मॉडल क्या कर सकता है?" से बदलकर "क्या हम इस बुद्धिमत्ता को विश्वसनीय, किफायती और बड़े पैमाने पर प्रदान कर सकते हैं?" हो गया है। इसका उत्तर अधिकाधिक सर्विंग हार्नेस पर निर्भर करता है: मॉडल के आसपास का इंजीनियरिंग तंत्र, जिसमें उसकी आर्किटेक्चर, मेमोरी प्रबंधन, शेड्यूलिंग और अनुकूलन संबंधी निर्णय शामिल हैं।
सही शुरुआती बिंदु वर्कलोड है, मॉडल नहीं। तेज़ प्रतिक्रियाओं के लिए अनुकूलित ग्राहक-सामना करने वाले सहायक की आवश्यकताएँ उस दस्तावेज़-प्रोसेसिंग पाइपलाइन से बहुत अलग होती हैं जो रात भर चल सकती है। उत्पादन में विलंबता, समवर्तिता, मेमोरी दबाव, GPU उपयोग, बुनियादी ढाँचे की लागत और अप्रत्याशित ट्रैफ़िक जैसी बाधाएँ आती हैं। जो मॉडल थोड़े बेहतर उत्तर देता है, वह बेहतर विकल्प नहीं है यदि वह अनुमान लागत को दोगुना कर देता है या विलंबता आवश्यकताओं को पूरा करने में विफल रहता है। लक्ष्य हर वर्कलोड के लिए सही लागत पर सही बुद्धिमत्ता तैनात करना है।
सर्विंग संबंधी निर्णय एक-दूसरे को भी प्रभावित करते हैं। आर्किटेक्चर मेमोरी उपयोग को प्रभावित करता है, मेमोरी समवर्तिता को, और समवर्तिता बैचिंग, शेड्यूलिंग और GPU उपयोग को आकार देती है। GPU मेमोरी इसका स्पष्ट उदाहरण है: जैसे-जैसे समवर्तिता बढ़ती है, की-वैल्यू कैश उपयोग योग्य मेमोरी को समाप्त कर सकता है, भले ही कंप्यूट क्षमता उपलब्ध हो। उस बाधा की पहचान किए बिना अधिक कंप्यूट जोड़ने से केवल एक अकुशल प्रणाली और महंगी हो जाती है।
मार्गदर्शक सिद्धांत है कि अनुकूलन से पहले मापें, प्रमुख बाधा की पहचान करें, उसे दूर करें, परिणाम मापें, और जाँचें कि कोई नई बाधा तो नहीं उभरी। अनुकूलन तकनीकों को केवल इसलिए एकत्र नहीं करना चाहिए कि वे उपलब्ध हैं। लक्ष्य किसी दिए गए वर्कलोड के लिए वह तकनीक लागू करना है जो सबसे अधिक प्रभाव वाली बाधा को हटा दे।
स्रोत: MIT Technology Review AI · HeadlinesBriefing द्वारा सारांशित