HeadlinesBriefing HeadlinesBriefing.com

LLMs ने 1866 के टेलीग्राफ़ शैली को फिर से सीखा ताकि 40% टोकन बचत हो

Hacker News •
×

GitHub पर एक दोहराने योग्य बेंचमार्क दिखाता है कि LLMs को प्रेरित करके उन्हें cablese में लिखने के लिए कहा जाए—19वीं सदी के टेलीग्राम्स की संक्षिप्त, lowercase शैली—तो 40–49% टोकन बचत होती है बिना downstream समझ में कमी के। 50-अंश, ~1,300-प्रश्न बेंचमार्क का उपयोग करते हुए, अध्ययन पाया कि gemma-4-31b, qwen3.8-27b, और GLM-5.3-Flash जैसे मॉडल्स संपीड़ित रिकॉर्ड्स को पढ़ने पर PLAINTEXT की तुलना में 0.99 और 1.10 के बीच रिकवरी अनुपात हासिल करते हैं। मुख्य बात एक छोटा lowercase निर्देश है: इसके बिना, मॉडल डिफ़ॉल्ट रूप से ALL CAPS में जाते हैं, जिससे 14–19 अंक सटीकता की हानि होती है। उल्लेखनीय रूप से, gpt-5-mini तर्क को अक्षम नहीं कर सकता, जिससे उसका बिल दोगुना हो जाता है। यह तकनीक चार मॉडल परिवारों में काम करती है, जिनमें से कुछ कभी cablese पर प्रशिक्षित नहीं हुए, जिससे यह सिद्ध होता है कि क्षमता पहले से ही उनके वज़न में है। संपीड़न सबसे प्रभावी होता है जब इसे सामग्री स्थिर होने के बाद लगाया जाता है, रचना के दौरान नहीं, जिससे एक "रजिस्टर टैक्स" से बचा जाता है। परिणाम एक सत्यापित, शून्य-लागत अनुकूलन है जो प्रभावी संदर्भ को लगभग दोगुना कर देता है या आउटपुट बिल को आधा कर देता है।

स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित