Context Language Models

Authors: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. We introduce Context Language Models (CLMs), language models that natively manage their own context. We implement this by treating the context as a file and allowing the model to make unrestricted updates to this file. This allows the model to learn what is most important to maintain in context, and naturally extends to multi-agent systems where multiple agent contexts coexist as files.

Building CLMs zero-shot with existing models outperforms SOTA context management strategies across a variety of tasks: 11.4% higher accuracy with 21.5% fewer FLOPs on Browse Comp-Plus, 5% higher scores with 59% fewer FLOPs on 12-hour Edge Bench, and 65% greater improvement with the same compute on a 24-hour multi-repository agent-swarm task. Moreover, by shifting context management from external harness control to intrinsic model behavior, CLMs naturally enable both in-context and parametric learning of context-management strategies.

We show that CLMs can be steered with natural-language instructions evolved through a standard skill-optimization loop, improving held-out accuracy by up to 35.9 points on a context-management task while reducing compute. We also introduce an online reinforcement learning method for CLMs, improving Qwen3.5-9B performance on Browse Comp-Plus by 47.6% while using 12% fewer FLOPs. Finally, we co-design Suffix Cache Reuse for CLM serving, further reducing server-side compute by 35% relative to standard SGLang at matched performance.

المؤلفون: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. نقدم نماذج اللغة السياقية (CLMs)، وهي نماذج لغة تدير سياقها الخاص بشكل أصلي. ننفذ ذلك من خلال معاملة السياق كملف والسماح للنموذج بإجراء تحديثات غير مقيدة لهذا الملف. وهذا يسمح للنموذج بتعلم ما هو الأكثر أهمية للحفاظ عليه في السياق، ويمتد بشكل طبيعي إلى أنظمة متعددة الوكلاء حيث تتعايش سياقات وكلاء متعددين كملفات.

بناء CLMs بطريقة الصفر-shot مع النماذج الحالية يتفوق على استراتيجيات إدارة السياق الأحدث (SOTA) عبر مجموعة متنوعة من المهام: دقة أعلى بنسبة 11.4% مع 21.5% أقل من FLOPs على Browse Comp-Plus، ودرجات أعلى بنسبة 5% مع 59% أقل من FLOPs على Edge Bench لمدة 12 ساعة، وتحسن أكبر بنسبة 65% مع نفس الحساب على مهمة سرب متعدد المستودعات لمدة 24 ساعة. علاوة على ذلك، من خلال نقل إدارة السياق من التحكم الخارجي إلى السلوك الجوهري للنموذج، تمكن CLMs بشكل طبيعي كلاً من التعلم السياقي والمعلمي لاستراتيجيات إدارة السياق.

نظهر أنه يمكن توجيه CLMs بتعليمات اللغة الطبيعية التي تم تطويرها من خلال حلقة تحسين المهارات القياسية، مما يحسن الدقة المحتجزة بما يصل إلى 35.9 نقطة في مهمة إدارة السياق مع تقليل الحساب. نقدم أيضًا طريقة تعلم تعزيزي عبر الإنترنت لـ CLMs، مما يحسن أداء Qwen3.5-9B على Browse Comp-Plus بنسبة 47.6% مع استخدام 12% أقل من FLOPs. أخيرًا، نصمم بشكل مشترك إعادة استخدام ذاكرة التخزين المؤقت لللاحقة (Suffix Cache Reuse) لخدمة CLM، مما يقلل بشكل أكبر من الحساب من جانب الخادم بنسبة 35% مقارنة بـ SGLang القياسي بأداء متطابق.

الكيانات الرئيسية: الأشخاص: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

الأسئلة الشائعة: ما هي نماذج اللغة السياقية (CLMs)؟

نماذج اللغة السياقية (CLMs) هي نماذج لغة تدير سياقها الخاص بشكل أصلي من خلال معاملته كملف بقدرات تحديث غير مقيدة، مما يسمح للنموذج بتعلم ما يجب الحفاظ عليه في السياق ويمتد إلى أنظمة متعددة الوكلاء.

লেখক: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh। আমরা প্রসঙ্গ ভাষা মডেল (CLMs) প্রবর্তন করছি, ভাষা মডেল যা তাদের নিজস্ব প্রসঙ্গ নেটিভভাবে পরিচালনা করে। আমরা প্রসঙ্গকে একটি ফাইল হিসাবে বিবেচনা করে এবং মডেলটিকে এই ফাইলে সীমাহীন আপডেট করার অনুমতি দিয়ে এটি বাস্তবায়ন করি। এটি মডেলটিকে শিখতে দেয় যে প্রসঙ্গে কী বজায় রাখা সবচেয়ে গুরুত্বপূর্ণ, এবং স্বাভাবিকভাবেই মাল্টি-এজেন্ট সিস্টেমে প্রসারিত হয় যেখানে একাধিক এজেন্টের প্রসঙ্গ ফাইল হিসাবে সহাবস্থান করে।

বিদ্যমান মডেলগুলির সাথে জিরো-শট CLMs তৈরি করা বিভিন্ন কাজে SOTA প্রসঙ্গ ব্যবস্থাপনা কৌশলগুলিকে ছাড়িয়ে যায়: Browse Comp-Plus-এ 11.4% বেশি নির্ভুলতা 21.5% কম FLOPs সহ, 12-ঘন্টা Edge Bench-এ 5% বেশি স্কোর 59% কম FLOPs সহ, এবং 24-ঘন্টা মাল্টি-রিপোজিটরি এজেন্ট-সোয়ার্ম কাজে একই কম্পিউটে 65% বেশি উন্নতি। তদুপরি, প্রসঙ্গ ব্যবস্থাপনাকে বাহ্যিক নিয়ন্ত্রণ থেকে অভ্যন্তরীণ মডেল আচরণে স্থানান্তরিত করে, CLMs স্বাভাবিকভাবেই প্রসঙ্গ-ব্যবস্থাপনা কৌশলগুলির ইন-কনটেক্সট এবং প্যারামেট্রিক লার্নিং উভয়ই সক্ষম করে।

আমরা দেখাই যে CLMs একটি মানক দক্ষতা-অপ্টিমাইজেশন লুপের মাধ্যমে বিবর্তিত প্রাকৃতিক-ভাষা নির্দেশাবলী দ্বারা পরিচালিত হতে পারে, যা কম্পিউট হ্রাস করার সময় একটি প্রসঙ্গ-ব্যবস্থাপনা কাজে হোল্ড-আউট নির্ভুলতা 35.9 পয়েন্ট পর্যন্ত উন্নত করে। আমরা CLMs-এর জন্য একটি অনলাইন রিইনফোর্সমেন্ট লার্নিং পদ্ধতিও প্রবর্তন করছি, যা 12% কম FLOPs ব্যবহার করে Browse Comp-Plus-এ Qwen3.5-9B কর্মক্ষমতা 47.6% উন্নত করে। অবশেষে, আমরা CLM সার্ভিসিংয়ের জন্য Suffix Cache Reuse সহ-ডিজাইন করি, যা মিলিত কর্মক্ষমতায় স্ট্যান্ডার্ড SGLang-এর তুলনায় সার্ভার-সাইড কম্পিউট আরও 35% হ্রাস করে।

মূল সত্তা: ব্যক্তি: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

Autoren: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. Wir stellen Kontext-Sprachmodelle (CLMs) vor, Sprachmodelle, die ihren eigenen Kontext nativ verwalten. Wir implementieren dies, indem wir den Kontext als eine Datei behandeln und dem Modell erlauben, uneingeschränkte Aktualisierungen an dieser Datei vorzunehmen. Dadurch kann das Modell lernen, was am wichtigsten ist, um im Kontext zu bleiben, und erweitert sich natürlich auf Multi-Agenten-Systeme, in denen die Kontexte mehrerer Agenten als Dateien koexistieren.

Die Erstellung von CLMs mit vorhandenen Modellen im Zero-Shot-Verfahren übertrifft die modernsten Kontextverwaltungsstrategien (SOTA) bei einer Vielzahl von Aufgaben: 11,4% höhere Genauigkeit mit 21,5% weniger FLOPs bei Browse Comp-Plus, 5% höhere Punktzahlen mit 59% weniger FLOPs bei 12-Stunden Edge Bench und 65% größere Verbesserung mit derselben Rechenleistung bei einer 24-Stunden-Multi-Repository-Agenten-Schwarm-Aufgabe. Darüber hinaus ermöglichen CLMs durch die Verlagerung der Kontextverwaltung von externer Steuerung zu intrinsischem Modellverhalten sowohl das kontextbezogene als auch das parametrische Lernen von Kontextverwaltungsstrategien.

Wir zeigen, dass CLMs mit natürlichsprachlichen Anweisungen gesteuert werden können, die durch eine standardmäßige Fähigkeitsoptimierungsschleife entwickelt wurden, und verbessern die Genauigkeit bei zurückgehaltenen Daten um bis zu 35,9 Punkte bei einer Kontextverwaltungsaufgabe, während die Rechenleistung reduziert wird. Wir führen auch eine Online-Verstärkungslernmethode für CLMs ein, die die Leistung von Qwen3.5-9B bei Browse Comp-Plus um 47,6% verbessert, während 12% weniger FLOPs verwendet werden. Schließlich entwerfen wir gemeinsam Suffix Cache Reuse für den CLM-Dienst, wodurch die serverseitige Rechenleistung im Vergleich zu standardmäßigem SGLang bei gleicher Leistung um weitere 35% reduziert wird.

Wichtige Entitäten: Personen: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

Autores: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. Presentamos los Modelos de Lenguaje de Contexto (CLMs), modelos de lenguaje que gestionan nativamente su propio contexto. Implementamos esto tratando el contexto como un archivo y permitiendo que el modelo realice actualizaciones sin restricciones a este archivo. Esto permite que el modelo aprenda qué es más importante mantener en el contexto, y se extiende naturalmente a sistemas multiagente donde los contextos de múltiples agentes coexisten como archivos.

Construir CLMs con modelos existentes de forma zero-shot supera las estrategias de gestión de contexto de última generación en una variedad de tareas: 11.4% más de precisión con 21.5% menos FLOPs en Browse Comp-Plus, 5% más de puntuación con 59% menos FLOPs en Edge Bench de 12 horas, y 65% más de mejora con el mismo cómputo en una tarea de enjambre multi-repositorio de 24 horas. Además, al trasladar la gestión del contexto del control externo al comportamiento intrínseco del modelo, los CLMs permiten naturalmente tanto el aprendizaje en contexto como paramétrico de estrategias de gestión de contexto.

Mostramos que los CLMs pueden ser dirigidos con instrucciones en lenguaje natural evolucionadas a través de un bucle de optimización de habilidades estándar, mejorando la precisión en datos no vistos hasta en 35.9 puntos en una tarea de gestión de contexto mientras se reduce el cómputo. También introducimos un método de aprendizaje por refuerzo en línea para CLMs, mejorando el rendimiento de Qwen3.5-9B en Browse Comp-Plus en un 47.6% mientras se usan 12% menos FLOPs. Finalmente, co-diseñamos Suffix Cache Reuse para el servicio de CLMs, reduciendo aún más el cómputo del servidor en un 35% en comparación con SGLang estándar con rendimiento equivalente.

Entidades Clave: Personas: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

Auteurs : Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. Nous introduisons les Modèles de Langage Contextuels (CLMs), des modèles de langage qui gèrent nativement leur propre contexte. Nous implémentons cela en traitant le contexte comme un fichier et en permettant au modèle d'effectuer des mises à jour sans restriction sur ce fichier. Cela permet au modèle d'apprendre ce qui est le plus important à maintenir dans le contexte, et s'étend naturellement aux systèmes multi-agents où les contextes de plusieurs agents coexistent en tant que fichiers.

Construire des CLMs en zero-shot avec des modèles existants surpasse les stratégies de gestion de contexte de pointe (SOTA) sur une variété de tâches : 11,4% de précision en plus avec 21,5% de FLOPs en moins sur Browse Comp-Plus, 5% de scores plus élevés avec 59% de FLOPs en moins sur Edge Bench 12 heures, et 65% d'amélioration supplémentaire avec le même calcul sur une tâche d'essaim multi-dépôts de 24 heures. De plus, en déplaçant la gestion du contexte du contrôle externe vers le comportement intrinsèque du modèle, les CLMs permettent naturellement à la fois l'apprentissage en contexte et paramétrique des stratégies de gestion de contexte.

Nous montrons que les CLMs peuvent être orientés avec des instructions en langage naturel évoluées via une boucle d'optimisation de compétences standard, améliorant la précision sur les données retenues jusqu'à 35,9 points sur une tâche de gestion de contexte tout en réduisant le calcul. Nous introduisons également une méthode d'apprentissage par renforcement en ligne pour les CLMs, améliorant les performances de Qwen3.5-9B sur Browse Comp-Plus de 47,6% tout en utilisant 12% de FLOPs en moins. Enfin, nous co-concevons Suffix Cache Reuse pour le service des CLMs, réduisant encore le calcul côté serveur de 35% par rapport à SGLang standard à performance équivalente.

Entités Clés : Personnes : Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

FAQ : Que sont les Modèles de Langage Contextuels (CLMs) ?

Les Modèles de Langage Contextuels (CLMs) sont des modèles de langage qui gèrent nativement leur propre contexte en le traitant comme un fichier avec des capacités de mise à jour sans restriction, permettant au modèle d'apprendre quoi maintenir dans le contexte et s'étendant aux systèmes multi-agents.

लेखक: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh। हम संदर्भ भाषा मॉडल (CLMs) प्रस्तुत करते हैं, भाषा मॉडल जो अपने स्वयं के संदर्भ का मूल रूप से प्रबंधन करते हैं। हम इसे संदर्भ को एक फ़ाइल के रूप में मानकर और मॉडल को इस फ़ाइल में अप्रतिबंधित अपडेट करने की अनुमति देकर कार्यान्वित करते हैं। यह मॉडल को यह सीखने की अनुमति देता है कि संदर्भ में बनाए रखने के लिए सबसे महत्वपूर्ण क्या है, और स्वाभाविक रूप से मल्टी-एजेंट सिस्टम तक फैलता है जहां कई एजेंट संदर्भ फ़ाइलों के रूप में सह-अस्तित्व में होते हैं।

मौजूदा मॉडलों के साथ जीरो-शॉट CLMs बनाना विभिन्न कार्यों में SOTA संदर्भ प्रबंधन रणनीतियों से बेहतर प्रदर्शन करता है: Browse Comp-Plus पर 11.4% अधिक सटीकता 21.5% कम FLOPs के साथ, 12-घंटे Edge Bench पर 5% अधिक स्कोर 59% कम FLOPs के साथ, और 24-घंटे मल्टी-रिपॉजिटरी एजेंट-स्वार्म कार्य पर समान कम्प्यूट के साथ 65% अधिक सुधार। इसके अलावा, संदर्भ प्रबंधन को बाहरी नियंत्रण से आंतरिक मॉडल व्यवहार में स्थानांतरित करके, CLMs स्वाभाविक रूप से संदर्भ-प्रबंधन रणनीतियों के इन-कॉन्टेक्स्ट और पैरामीट्रिक लर्निंग दोनों को सक्षम करते हैं।

हम दिखाते हैं कि CLMs को एक मानक कौशल-अनुकूलन लूप के माध्यम से विकसित प्राकृतिक-भाषा निर्देशों के साथ निर्देशित किया जा सकता है, जो कम्प्यूट को कम करते हुए संदर्भ-प्रबंधन कार्य पर होल्ड-आउट सटीकता में 35.9 अंक तक सुधार करता है। हम CLMs के लिए एक ऑनलाइन सुदृढीकरण सीखने की विधि भी प्रस्तुत करते हैं, जो 12% कम FLOPs का उपयोग करते हुए Browse Comp-Plus पर Qwen3.5-9B प्रदर्शन में 47.6% सुधार करता है। अंत में, हम CLM सर्विसिंग के लिए Suffix Cache Reuse को सह-डिज़ाइन करते हैं, जो मिलान प्रदर्शन पर मानक SGLang की तुलना में सर्वर-साइड कम्प्यूट को 35% और कम करता है।

प्रमुख संस्थाएं: लोग: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

Penulis: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. Kami memperkenalkan Model Bahasa Konteks (CLM), model bahasa yang secara native mengelola konteks mereka sendiri. Kami mengimplementasikan ini dengan memperlakukan konteks sebagai file dan memungkinkan model untuk melakukan pembaruan tanpa batas pada file ini. Hal ini memungkinkan model untuk mempelajari apa yang paling penting untuk dipertahankan dalam konteks, dan secara alami meluas ke sistem multi-agen di mana konteks beberapa agen hidup berdampingan sebagai file.

Membangun CLM secara zero-shot dengan model yang ada melampaui strategi manajemen konteks SOTA (terkini) di berbagai tugas: akurasi 11,4% lebih tinggi dengan 21,5% lebih sedikit FLOPs pada Browse Comp-Plus, skor 5% lebih tinggi dengan 59% lebih sedikit FLOPs pada Edge Bench 12 jam, dan peningkatan 65% lebih besar dengan komputasi yang sama pada tugas kawanan multi-repositori 24 jam. Selain itu, dengan menggeser manajemen konteks dari kendali eksternal ke perilaku model intrinsik, CLM secara alami memungkinkan pembelajaran in-konteks dan parametrik dari strategi manajemen konteks.

Kami menunjukkan bahwa CLM dapat diarahkan dengan instruksi bahasa alami yang berevolusi melalui loop optimasi keterampilan standar, meningkatkan akurasi hold-out hingga 35,9 poin pada tugas manajemen konteks sambil mengurangi komputasi. Kami juga memperkenalkan metode pembelajaran penguatan online untuk CLM, meningkatkan kinerja Qwen3.5-9B pada Browse Comp-Plus sebesar 47,6% sambil menggunakan 12% lebih sedikit FLOPs. Terakhir, kami merancang bersama Suffix Cache Reuse untuk layanan CLM, lebih lanjut mengurangi komputasi sisi server sebesar 35% relatif terhadap SGLang standar pada kinerja yang setara.

Entitas Kunci: Orang: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

著者：Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh。本稿では、コンテキスト言語モデル（CLM）を紹介します。これは、自身のコンテキストをネイティブに管理する言語モデルです。これを実装するために、コンテキストをファイルとして扱い、モデルがこのファイルに無制限の更新を行えるようにします。これにより、モデルはコンテキスト内で維持することが最も重要なことを学習でき、複数のエージェントのコンテキストがファイルとして共存するマルチエージェントシステムに自然に拡張されます。

既存のモデルでゼロショットでCLMを構築することは、さまざまなタスクにおいて最先端（SOTA）のコンテキスト管理戦略を上回ります。Browse Comp-Plusでは11.4%高い精度を21.5%少ないFLOPsで達成し、12時間Edge Benchでは5%高いスコアを59%少ないFLOPsで達成し、24時間マルチリポジトリエージェントスウォームタスクでは同じ計算量で65%大きな改善を示します。さらに、コンテキスト管理を外部制御から内在的なモデル動作に移行することで、CLMはコンテキスト管理戦略のインコンテキスト学習とパラメトリック学習の両方を自然に可能にします。

CLMは、標準的なスキル最適化ループを通じて進化した自然言語命令で誘導でき、コンテキスト管理タスクにおいて計算量を削減しながら、ホールドアウト精度を最大35.9ポイント向上させることができることを示します。また、CLMのためのオンライン強化学習手法を導入し、Qwen3.5-9BのBrowse Comp-Plusでのパフォーマンスを47.6%向上させ、12%少ないFLOPsで実現します。最後に、CLMサービングのためにSuffix Cache Reuseを共同設計し、同等のパフォーマンスで標準のSGLangと比較してサーバー側の計算をさらに35%削減します。

主要エンティティ：人物：Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

FAQ：コンテキスト言語モデル（CLM）とは何ですか？

コンテキスト言語モデル（CLM）は、コンテキストを無制限の更新機能を持つファイルとして扱うことで、自身のコンテキストをネイティブに管理する言語モデルであり、モデルがコンテキスト内で何を維持するかを学習できるようにし、マルチエージェントシステムに拡張されます。

Autores: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. Apresentamos os Modelos de Linguagem de Contexto (CLMs), modelos de linguagem que gerenciam nativamente seu próprio contexto. Implementamos isso tratando o contexto como um arquivo e permitindo que o modelo faça atualizações irrestritas a este arquivo. Isso permite que o modelo aprenda o que é mais importante manter no contexto, e se estende naturalmente a sistemas multiagente onde contextos de múltiplos agentes coexistem como arquivos.

Construir CLMs com modelos existentes em zero-shot supera as estratégias de gerenciamento de contexto de última geração (SOTA) em uma variedade de tarefas: 11,4% mais precisão com 21,5% menos FLOPs no Browse Comp-Plus, 5% mais pontuação com 59% menos FLOPs no Edge Bench de 12 horas, e 65% mais melhoria com o mesmo poder computacional em uma tarefa de enxame multi-repositório de 24 horas. Além disso, ao transferir o gerenciamento de contexto do controle externo para o comportamento intrínseco do modelo, os CLMs permitem naturalmente tanto o aprendizado no contexto quanto paramétrico de estratégias de gerenciamento de contexto.

Mostramos que os CLMs podem ser direcionados com instruções em linguagem natural evoluídas através de um loop de otimização de habilidades padrão, melhorando a precisão em dados retidos em até 35,9 pontos em uma tarefa de gerenciamento de contexto enquanto reduz o poder computacional. Também introduzimos um método de aprendizado por reforço online para CLMs, melhorando o desempenho do Qwen3.5-9B no Browse Comp-Plus em 47,6% enquanto usa 12% menos FLOPs. Finalmente, co-projetamos o Suffix Cache Reuse para o serviço de CLMs, reduzindo ainda mais o poder computacional do servidor em 35% em relação ao SGLang padrão com desempenho equivalente.

Entidades Chave: Pessoas: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

Авторы: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. Мы представляем Контекстные языковые модели (CLMs), языковые модели, которые изначально управляют собственным контекстом. Мы реализуем это, рассматривая контекст как файл и позволяя модели вносить неограниченные изменения в этот файл. Это позволяет модели узнавать, что наиболее важно поддерживать в контексте, и естественным образом распространяется на мультиагентные системы, где контексты нескольких агентов сосуществуют в виде файлов.

Создание CLMs с нулевым обучением (zero-shot) с использованием существующих моделей превосходит современные стратегии управления контекстом (SOTA) в различных задачах: 11,4% более высокая точность с 21,5% меньшим количеством FLOPs на Browse Comp-Plus, 5% более высокие оценки с 59% меньшим количеством FLOPs на 12-часовом Edge Bench и 65% большее улучшение с теми же вычислительными ресурсами на 24-часовой задаче мультирепозиторного роя агентов. Более того, перенося управление контекстом с внешнего контроля на внутреннее поведение модели, CLMs естественным образом обеспечивают как внутриконтекстное, так и параметрическое обучение стратегиям управления контекстом.

Мы показываем, что CLMs можно направлять с помощью инструкций на естественном языке, развитых через стандартный цикл оптимизации навыков, улучшая точность на отложенных данных до 35,9 баллов в задаче управления контекстом при одновременном снижении вычислительных затрат. Мы также представляем метод онлайн-обучения с подкреплением для CLMs, улучшающий производительность Qwen3.5-9B на Browse Comp-Plus на 47,6% при использовании 12% меньшего количества FLOPs. Наконец, мы совместно разрабатываем Suffix Cache Reuse для обслуживания CLM, что дополнительно снижает вычислительную нагрузку на сервер на 35% по сравнению со стандартным SGLang при сопоставимой производительности.

Ключевые сущности: Люди: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

作者：Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh。我们引入了上下文语言模型（CLMs），这是一种能够原生管理自身上下文的语言模型。我们通过将上下文视为一个文件，并允许模型对该文件进行不受限制的更新来实现这一点。这使得模型能够学习哪些内容在上下文中最重要，并自然地扩展到多智能体系统，其中多个智能体的上下文作为文件共存。

使用现有模型零样本构建CLMs，在各种任务上优于最先进的上下文管理策略：在Browse Comp-Plus上准确率提高11.4%，同时FLOPs减少21.5%；在12小时Edge Bench上得分提高5%，同时FLOPs减少59%；在24小时多仓库智能体群任务上，使用相同计算量，改进幅度提高65%。此外，通过将上下文管理从外部控制转移到内在模型行为，CLMs自然实现了上下文管理策略的上下文内学习和参数化学习。

我们展示了CLMs可以通过标准技能优化循环演化的自然语言指令进行引导，在上下文管理任务上将保留准确率提高多达35.9个百分点，同时减少计算量。我们还引入了一种针对CLMs的在线强化学习方法，将Qwen3.5-9B在Browse Comp-Plus上的性能提高47.6%，同时使用12%更少的FLOPs。最后，我们为CLM服务共同设计了后缀缓存重用，与匹配性能的标准SGLang相比，进一步将服务器端计算减少35%。

关键实体：人物：Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh

FAQ：什么是上下文语言模型（CLMs）？

上下文语言模型（CLMs）是一种语言模型，通过将上下文视为具有不受限制更新能力的文件来原生管理自身上下文，允许模型学习在上下文中维护什么，并扩展到多智能体系统。