एआई में, 'दक्ष सीमावर्ती' मॉडल की लागत और क्षमता के बीच के व्यापार का प्रबंधन करता है। यदि एक मॉडल निर्धारित लागत या आकार पर सर्वोच्च बौद्धिमता प्रदान करता है, तो उसे 'सीमावर्ती' मॉडल कहा जाता है। एलएलएम अनुमान में दो प्रौद्योगिकियाँ मौजूद हैं: वे जो कारकों के बीच व्यापार करती हैं, और वे जो पूरी सीमावर्ती को अधिक दक्षता की ओर धकेलती हैं।

बैचिंग और समानांतर रणनीतियाँ सीमावर्ती पर विशिष्ट बिंदुओं को लक्षित करती हैं। छोटे बैच आकार उत्कृष्ट प्रति-उपयोगकर्ता विलंबता प्रदान करते हैं लेकिन टोकन प्रति लागत उच्च होती है, जबकि बड़े बैच प्रदर्शन को बेहतर बनाते हैं लेकिन विलंबता पर व्यापार करते हैं। टेंसर पैरलललिज़्म (TP) द्वारा तेज़ NVLink संचार के माध्यम से विलंबता कम होती है, जबकि एक्सपर्ट पैरलललिज़्म (EP) की डिग्री विलंबता और प्रदर्शन दोनों को प्रभावित करती है।

ध्यान डेटा पैरलललिज़्म (ADP) ध्यान परत की प्रतिलिपि के माध्यम से प्रदर्शन बढ़ाता है। सीमावर्ती अक्सर खड़ी होती है, जिसके लिए अनुशंसित कॉन्फ़िगरेशन खोजने के लिए सैद्धांतिक स्वीप की आवश्यकता होती है। क्वांटाइज़ेशन, डिस्टिलेशन और प्रूनिंग जैसी तकनीकें गुणवत्ता के बदले प्रदर्शन के लिए व्यापार करती हैं, जबकि तर्कसंगत स्तर गति के बदले बौद्धिमता के लिए विनिमय करते हैं। KV कैश पुन: उपयोग और अनुकूल KV-जागरूक रूटिंग के साथ एजेंटिक कोडिंग के लिए, यहाँ तक कि आवंटन रणनीतियों को यहाँ तक कि यातायात की प्रकृति और उपयोगकर्ता की भुगतान की इच्छा के आधार पर इन व्यापारों को संतुलित करना चाहिए।