लेखक: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh। हम संदर्भ भाषा मॉडल (CLMs) प्रस्तुत करते हैं, भाषा मॉडल जो अपने स्वयं के संदर्भ का मूल रूप से प्रबंधन करते हैं। हम इसे संदर्भ को एक फ़ाइल के रूप में मानकर और मॉडल को इस फ़ाइल में अप्रतिबंधित अपडेट करने की अनुमति देकर कार्यान्वित करते हैं। यह मॉडल को यह सीखने की अनुमति देता है कि संदर्भ में बनाए रखने के लिए सबसे महत्वपूर्ण क्या है, और स्वाभाविक रूप से मल्टी-एजेंट सिस्टम तक फैलता है जहां कई एजेंट संदर्भ फ़ाइलों के रूप में सह-अस्तित्व में होते हैं।
मौजूदा मॉडलों के साथ जीरो-शॉट CLMs बनाना विभिन्न कार्यों में SOTA संदर्भ प्रबंधन रणनीतियों से बेहतर प्रदर्शन करता है: Browse Comp-Plus पर 11.4% अधिक सटीकता 21.5% कम FLOPs के साथ, 12-घंटे Edge Bench पर 5% अधिक स्कोर 59% कम FLOPs के साथ, और 24-घंटे मल्टी-रिपॉजिटरी एजेंट-स्वार्म कार्य पर समान कम्प्यूट के साथ 65% अधिक सुधार। इसके अलावा, संदर्भ प्रबंधन को बाहरी नियंत्रण से आंतरिक मॉडल व्यवहार में स्थानांतरित करके, CLMs स्वाभाविक रूप से संदर्भ-प्रबंधन रणनीतियों के इन-कॉन्टेक्स्ट और पैरामीट्रिक लर्निंग दोनों को सक्षम करते हैं।
हम दिखाते हैं कि CLMs को एक मानक कौशल-अनुकूलन लूप के माध्यम से विकसित प्राकृतिक-भाषा निर्देशों के साथ निर्देशित किया जा सकता है, जो कम्प्यूट को कम करते हुए संदर्भ-प्रबंधन कार्य पर होल्ड-आउट सटीकता में 35.9 अंक तक सुधार करता है। हम CLMs के लिए एक ऑनलाइन सुदृढीकरण सीखने की विधि भी प्रस्तुत करते हैं, जो 12% कम FLOPs का उपयोग करते हुए Browse Comp-Plus पर Qwen3.5-9B प्रदर्शन में 47.6% सुधार करता है। अंत में, हम CLM सर्विसिंग के लिए Suffix Cache Reuse को सह-डिज़ाइन करते हैं, जो मिलान प्रदर्शन पर मानक SGLang की तुलना में सर्वर-साइड कम्प्यूट को 35% और कम करता है।
प्रमुख संस्थाएं: लोग: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित