Penulis: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. Kami memperkenalkan Model Bahasa Konteks (CLM), model bahasa yang secara native mengelola konteks mereka sendiri. Kami mengimplementasikan ini dengan memperlakukan konteks sebagai file dan memungkinkan model untuk melakukan pembaruan tanpa batas pada file ini. Hal ini memungkinkan model untuk mempelajari apa yang paling penting untuk dipertahankan dalam konteks, dan secara alami meluas ke sistem multi-agen di mana konteks beberapa agen hidup berdampingan sebagai file.
Membangun CLM secara zero-shot dengan model yang ada melampaui strategi manajemen konteks SOTA (terkini) di berbagai tugas: akurasi 11,4% lebih tinggi dengan 21,5% lebih sedikit FLOPs pada Browse Comp-Plus, skor 5% lebih tinggi dengan 59% lebih sedikit FLOPs pada Edge Bench 12 jam, dan peningkatan 65% lebih besar dengan komputasi yang sama pada tugas kawanan multi-repositori 24 jam. Selain itu, dengan menggeser manajemen konteks dari kendali eksternal ke perilaku model intrinsik, CLM secara alami memungkinkan pembelajaran in-konteks dan parametrik dari strategi manajemen konteks.
Kami menunjukkan bahwa CLM dapat diarahkan dengan instruksi bahasa alami yang berevolusi melalui loop optimasi keterampilan standar, meningkatkan akurasi hold-out hingga 35,9 poin pada tugas manajemen konteks sambil mengurangi komputasi. Kami juga memperkenalkan metode pembelajaran penguatan online untuk CLM, meningkatkan kinerja Qwen3.5-9B pada Browse Comp-Plus sebesar 47,6% sambil menggunakan 12% lebih sedikit FLOPs. Terakhir, kami merancang bersama Suffix Cache Reuse untuk layanan CLM, lebih lanjut mengurangi komputasi sisi server sebesar 35% relatif terhadap SGLang standar pada kinerja yang setara.
Entitas Kunci: Orang: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing