Les agents IA en production échouent souvent à cause d'une mauvaise gestion du contexte plutôt que des flaws de raisonnement. Ils sont submergés par les historiques de conversation accumulés, grands prompts et sorties d'outils face à des coûts de tokens croissants. Les approches actuelles traitent cela comme un problème de stockage et de récupération, mais nous soutenons que c'est un défi de cycle de vie.
Nous introduisons la Gestion de Contexte Agent (ACM) comme discipline couvrant la décision de quoi se souvenir, l'extraction de pertinence, le choix de magasins appropriés et la compaction du contexte en préservant la fidélité. ACM se décompose en cinq primitives : architecturer, ingérer, délimiter, anticiper et compacter & consolider. Économiquement, l'accumulation naive augmente les coûts de façon quadratique, la sommaire grossier atteint un coût linéaire avec perte de précision, tandis que la compaction validée délivre un coût linéaire avec fidélité préservée. Notre implémentation de référence, Maximem Synap, réalise ces primitives comme un service multi-locataire, atteignant 92% sur Long Mem Eval et 93.2% sur Lo Co Mo.
Nous abordons les hiérarchies de portée organisationnelle et proposons de nouvelles dimensions de benchmark incluant latence, efficacité des tokens et résistance à la rotation du contexte.
Source: Hacker News · Résumé par HeadlinesBriefing