著者：Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh。本稿では、コンテキスト言語モデル（CLM）を紹介します。これは、自身のコンテキストをネイティブに管理する言語モデルです。これを実装するために、コンテキストをファイルとして扱い、モデルがこのファイルに無制限の更新を行えるようにします。これにより、モデルはコンテキスト内で維持することが最も重要なことを学習でき、複数のエージェントのコンテキストがファイルとして共存するマルチエージェントシステムに自然に拡張されます。
既存のモデルでゼロショットでCLMを構築することは、さまざまなタスクにおいて最先端（SOTA）のコンテキスト管理戦略を上回ります。Browse Comp-Plusでは11.4%高い精度を21.5%少ないFLOPsで達成し、12時間Edge Benchでは5%高いスコアを59%少ないFLOPsで達成し、24時間マルチリポジトリエージェントスウォームタスクでは同じ計算量で65%大きな改善を示します。さらに、コンテキスト管理を外部制御から内在的なモデル動作に移行することで、CLMはコンテキスト管理戦略のインコンテキスト学習とパラメトリック学習の両方を自然に可能にします。
CLMは、標準的なスキル最適化ループを通じて進化した自然言語命令で誘導でき、コンテキスト管理タスクにおいて計算量を削減しながら、ホールドアウト精度を最大35.9ポイント向上させることができることを示します。また、CLMのためのオンライン強化学習手法を導入し、Qwen3.5-9BのBrowse Comp-Plusでのパフォーマンスを47.6%向上させ、12%少ないFLOPsで実現します。最後に、CLMサービングのためにSuffix Cache Reuseを共同設計し、同等のパフォーマンスで標準のSGLangと比較してサーバー側の計算をさらに35%削減します。
主要エンティティ：人物：Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh
FAQ：コンテキスト言語モデル（CLM）とは何ですか？
コンテキスト言語モデル（CLM）は、コンテキストを無制限の更新機能を持つファイルとして扱うことで、自身のコンテキストをネイティブに管理する言語モデルであり、モデルがコンテキスト内で何を維持するかを学習できるようにし、マルチエージェントシステムに拡張されます。
出典: Hacker News · 要約：HeadlinesBriefing