Agentes IA em produção falham mais frequentemente devido a má gestão do context do que defeitos de raciocínio. Eles se afogam em históricos de conversa acumulados, prompts grandes e saídas de ferramentas enquanto enfrentam custos de tokens crescentes. Atuais abordagens tratam isso como um problema de armazenamento e recuperação, mas argumentamos que é um desafio de ciclo de vida.
Introduzimos a Gestão de Contexto Agente (ACM) como uma disciplina abrangendo decidir o que lembrar, extrair relevância, escolher lojas apropriadas e compactar contexto mantendo fidelidade. ACM se decompõe em cinco primitivas: arquitetura, ingestão, escopo, antecipação e compactação & consolidação. Economicamente, acumulação naive cresce custos quadráticos, sumário bruto atinge custo linear com perda de precisão, enquanto compactação validada entrega custo linear com fidelidade preservada.
Nossa implementação de referência, Maximem Synap, realiza essas primitivas como um serviço multi-tenant, logrando 92% no Long Mem Eval e 93.2% no Lo Co Mo. Abordamos hierarquias de escopo organizacional e propões novas dimensões de benchmark incluindo latência, eficiência de tokens e resistência à rotação de contexto.
Fonte: Hacker News · Resumido por HeadlinesBriefing