Autoren: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh. Wir stellen Kontext-Sprachmodelle (CLMs) vor, Sprachmodelle, die ihren eigenen Kontext nativ verwalten. Wir implementieren dies, indem wir den Kontext als eine Datei behandeln und dem Modell erlauben, uneingeschränkte Aktualisierungen an dieser Datei vorzunehmen. Dadurch kann das Modell lernen, was am wichtigsten ist, um im Kontext zu bleiben, und erweitert sich natürlich auf Multi-Agenten-Systeme, in denen die Kontexte mehrerer Agenten als Dateien koexistieren.
Die Erstellung von CLMs mit vorhandenen Modellen im Zero-Shot-Verfahren übertrifft die modernsten Kontextverwaltungsstrategien (SOTA) bei einer Vielzahl von Aufgaben: 11,4% höhere Genauigkeit mit 21,5% weniger FLOPs bei Browse Comp-Plus, 5% höhere Punktzahlen mit 59% weniger FLOPs bei 12-Stunden Edge Bench und 65% größere Verbesserung mit derselben Rechenleistung bei einer 24-Stunden-Multi-Repository-Agenten-Schwarm-Aufgabe. Darüber hinaus ermöglichen CLMs durch die Verlagerung der Kontextverwaltung von externer Steuerung zu intrinsischem Modellverhalten sowohl das kontextbezogene als auch das parametrische Lernen von Kontextverwaltungsstrategien.
Wir zeigen, dass CLMs mit natürlichsprachlichen Anweisungen gesteuert werden können, die durch eine standardmäßige Fähigkeitsoptimierungsschleife entwickelt wurden, und verbessern die Genauigkeit bei zurückgehaltenen Daten um bis zu 35,9 Punkte bei einer Kontextverwaltungsaufgabe, während die Rechenleistung reduziert wird. Wir führen auch eine Online-Verstärkungslernmethode für CLMs ein, die die Leistung von Qwen3.5-9B bei Browse Comp-Plus um 47,6% verbessert, während 12% weniger FLOPs verwendet werden. Schließlich entwerfen wir gemeinsam Suffix Cache Reuse für den CLM-Dienst, wodurch die serverseitige Rechenleistung im Vergleich zu standardmäßigem SGLang bei gleicher Leistung um weitere 35% reduziert wird.
Wichtige Entitäten: Personen: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing