कुशलता का उपयोग करें: कैश दरें और ऊर्जा लागत

Harnesses प्रॉम्प्ट कैशिंग को प्रबंधित करके AI निष्कर्षण दक्षता पर महत्वपूर्ण प्रभाव डालते हैं। Neuralwatt डेटा दिखाता है कि अनकैश्ड इनपुट Open Code और Pi जैसे क्लाइंट्स में 1.6% से 11.1% तक भिन्न होता है। 92% कैश दर 97% की तुलना में 2.7 गुना अधिक प्रीफिल कार्य करती है। कैश ब्रेक—harnesses द्वारा पहले के प्रॉम्प्ट्स को संपादित करने के कारण—परिवर्तन के पहले बिंदु से पूर्ण पुनःगणना बल देते हैं। गहरे सत्र लागत बढ़ाते हैं: 128k-टोकन प्रॉम्प्ट के आधे से अधिक को फिर से पढ़ना 600 सामान्य टर्नों के ऊर्जा के बराबर होता है। क्लाइंट्स में劇烈 अंतर है: deepseek-harness कैश को लगभग 1% समय तोड़ता है, जबकि Open Code और Pi लगभग 3% समय तोड़ते हैं। Open Code 2.x ने लैब टेस्ट में सुधार दिखाया लेकिन उत्पादन में नहीं। ऊर्जा मापन पुष्टि करते हैं कि कैश मिस roughly खपत को दोगुना कर देते हैं; GLM-5.3 पर, मिस 2.5 गुना अधिक लागत वाले होते हैं। हार्नेस, केवल मॉडल या हार्डवेयर नहीं, दक्षता का एक प्रमुख लीवर है।

अधिकांश एजेंटिक ट्रैफ़िक न्यूनतम आउटपुट के लिए 100k+ इनपुट टोकन भेजता है। सर्वर अपरिवर्तित प्रीफिक्स के लिए KV कैशेस का पुनः उपयोग करते हैं, जिससे कैशिंग शीर्ष दक्षता स्रोत बन जाती है। harness द्वारा कोई भी संपादन— incluso एक टाइमस्टैम्प—पूरे प्रीफिक्स को अमान्य कर देती है। Neuralwatt के 30 दिनों के क्लाउड डेटा से पता चलता है कि harness GPU कार्यभार का आश्चर्यजनक हिस्सा निर्धारित करता है। प्रॉम्प्ट निर्माण का अनुकूलन मॉडल या हार्डवेयर बदले बिना 상당한 ऊर्जा और लागत बचत ला सकता है।

स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित