Agen AI dalam produksi lebih sering gagal karena manajemen konteks yang buruk daripada cacat reasoning. Mereka tenggelam dalam riwayat percakapan yang terakumulasi, prompt besar, dan keluaran tool sementara menghadapi biaya token yang semakin meningkat. Pendekatan saat ini memperlakukan ini sebagai masalah penyimpanan dan pengambilan, tetapi kita argue bahwa ini adalah tantangan siklus hidup.
Kami memperkenalkan Manajemen Konteks Agen (ACM) sebagai disiplin yang mencakup keputusan apa yang diingat, ekstraksi relevansi, pemilihan store yang tepat, dan kompresi konteks sementara mempertahankan fidelity. ACM terurai menjadi lima primitif: arsitektur, ingest, skala, antisipasi, dan kompresi & konsolidasi. Secara ekonomi, akumulasi naive meningkatkan biaya kuadratik, ringkasan kasar mencapai biaya linear dengan kehilangan akurasi, sementara kompresi yang divalidasi mengirimkan biaya linear dengan fidelity terjaga.
Implementasi referensi kami, Maximem Synap, menjalankan primitif ini sebagai layanan multi-tenant, mencapai 92% pada Long Mem Eval dan 93.2% pada Lo Co Mo. Kami mengatasi hierarki skala organisasi dan mengusulkan dimensi benchmark baru termasuk latensi, efisiensi token, dan resistensi rotasi konteks.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing