Autores: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. Apresentamos os Modelos de Linguagem de Contexto (CLMs), modelos de linguagem que gerenciam nativamente seu próprio contexto. Implementamos isso tratando o contexto como um arquivo e permitindo que o modelo faça atualizações irrestritas a este arquivo. Isso permite que o modelo aprenda o que é mais importante manter no contexto, e se estende naturalmente a sistemas multiagente onde contextos de múltiplos agentes coexistem como arquivos.
Construir CLMs com modelos existentes em zero-shot supera as estratégias de gerenciamento de contexto de última geração (SOTA) em uma variedade de tarefas: 11,4% mais precisão com 21,5% menos FLOPs no Browse Comp-Plus, 5% mais pontuação com 59% menos FLOPs no Edge Bench de 12 horas, e 65% mais melhoria com o mesmo poder computacional em uma tarefa de enxame multi-repositório de 24 horas. Além disso, ao transferir o gerenciamento de contexto do controle externo para o comportamento intrínseco do modelo, os CLMs permitem naturalmente tanto o aprendizado no contexto quanto paramétrico de estratégias de gerenciamento de contexto.
Mostramos que os CLMs podem ser direcionados com instruções em linguagem natural evoluídas através de um loop de otimização de habilidades padrão, melhorando a precisão em dados retidos em até 35,9 pontos em uma tarefa de gerenciamento de contexto enquanto reduz o poder computacional. Também introduzimos um método de aprendizado por reforço online para CLMs, melhorando o desempenho do Qwen3.5-9B no Browse Comp-Plus em 47,6% enquanto usa 12% menos FLOPs. Finalmente, co-projetamos o Suffix Cache Reuse para o serviço de CLMs, reduzindo ainda mais o poder computacional do servidor em 35% em relação ao SGLang padrão com desempenho equivalente.
Entidades Chave: Pessoas: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh
Fonte: Hacker News · Resumido por HeadlinesBriefing