HeadlinesBriefing HeadlinesBriefing.com

Агентное Управление Контекстом: Решает Проблемы Памяти и Стоимости AI

Hacker News •
×

AI-агенты в производстве чаще терпят неудачу из-за плохого управления контекстом, чем из-за дефектов рассуждения. Они тонут в накопленных историях диалогов, больших промптах и выводах инструментов, сталкиваясь с растущими затратами на токены. Текущие подходы рассматривают это как проблему хранения и извлечения, но мы утверждаем, что это вызов жизненного цикла. Мы вводим Агентное Управление Контекстом (ACM) как дисциплину, охватывающая решение, что помнить, извлекать релевантность, выбирать подходящие хранилища и компрессировать контекст, сохраняя fidelity. ACM распадается на пять примитивов: архитектура, ingestion, scope, anticipation и compaction & consolidation. Экономически, naive accumulation растет quadratically, crude summarization достигает linear cost с loss of accuracy, тогда как validated compaction доставляет linear cost с preserved fidelity. Наша reference implementation, Maximem Synap, реализует эти примитивы как multi-tenant service, достигая 92% на Long Mem Eval и 93.2% на Lo Co Mo. Мы решаем иерархии организационного scope и предлагаем новые benchmark dimensions включая latency, token efficiency и context-rot resistance.

Источник: Hacker News · Сводку подготовил HeadlinesBriefing