Авторы: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. Мы представляем Контекстные языковые модели (CLMs), языковые модели, которые изначально управляют собственным контекстом. Мы реализуем это, рассматривая контекст как файл и позволяя модели вносить неограниченные изменения в этот файл. Это позволяет модели узнавать, что наиболее важно поддерживать в контексте, и естественным образом распространяется на мультиагентные системы, где контексты нескольких агентов сосуществуют в виде файлов.
Создание CLMs с нулевым обучением (zero-shot) с использованием существующих моделей превосходит современные стратегии управления контекстом (SOTA) в различных задачах: 11,4% более высокая точность с 21,5% меньшим количеством FLOPs на Browse Comp-Plus, 5% более высокие оценки с 59% меньшим количеством FLOPs на 12-часовом Edge Bench и 65% большее улучшение с теми же вычислительными ресурсами на 24-часовой задаче мультирепозиторного роя агентов. Более того, перенося управление контекстом с внешнего контроля на внутреннее поведение модели, CLMs естественным образом обеспечивают как внутриконтекстное, так и параметрическое обучение стратегиям управления контекстом.
Мы показываем, что CLMs можно направлять с помощью инструкций на естественном языке, развитых через стандартный цикл оптимизации навыков, улучшая точность на отложенных данных до 35,9 баллов в задаче управления контекстом при одновременном снижении вычислительных затрат. Мы также представляем метод онлайн-обучения с подкреплением для CLMs, улучшающий производительность Qwen3.5-9B на Browse Comp-Plus на 47,6% при использовании 12% меньшего количества FLOPs. Наконец, мы совместно разрабатываем Suffix Cache Reuse для обслуживания CLM, что дополнительно снижает вычислительную нагрузку на сервер на 35% по сравнению со стандартным SGLang при сопоставимой производительности.
Ключевые сущности: Люди: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh
Источник: Hacker News · Сводку подготовил HeadlinesBriefing