作者：Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh。我们引入了上下文语言模型（CLMs），这是一种能够原生管理自身上下文的语言模型。我们通过将上下文视为一个文件，并允许模型对该文件进行不受限制的更新来实现这一点。这使得模型能够学习哪些内容在上下文中最重要，并自然地扩展到多智能体系统，其中多个智能体的上下文作为文件共存。
使用现有模型零样本构建CLMs，在各种任务上优于最先进的上下文管理策略：在Browse Comp-Plus上准确率提高11.4%，同时FLOPs减少21.5%；在12小时Edge Bench上得分提高5%，同时FLOPs减少59%；在24小时多仓库智能体群任务上，使用相同计算量，改进幅度提高65%。此外，通过将上下文管理从外部控制转移到内在模型行为，CLMs自然实现了上下文管理策略的上下文内学习和参数化学习。
我们展示了CLMs可以通过标准技能优化循环演化的自然语言指令进行引导，在上下文管理任务上将保留准确率提高多达35.9个百分点，同时减少计算量。我们还引入了一种针对CLMs的在线强化学习方法，将Qwen3.5-9B在Browse Comp-Plus上的性能提高47.6%，同时使用12%更少的FLOPs。最后，我们为CLM服务共同设计了后缀缓存重用，与匹配性能的标准SGLang相比，进一步将服务器端计算减少35%。
关键实体：人物：Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh
FAQ：什么是上下文语言模型（CLMs）？
上下文语言模型（CLMs）是一种语言模型，通过将上下文视为具有不受限制更新能力的文件来原生管理自身上下文，允许模型学习在上下文中维护什么，并扩展到多智能体系统。
来源: Hacker News · 由HeadlinesBriefing整理摘要