生产环境中的AI智能体失败，更多是由于上下文管理不当而非推理缺陷。它们在面对不断增长的代币成本时，被累积的对话历史、大型提示和工具输出所淹没。当前方法将此视为存储与检索问题，但我们认为这是一个生命周期挑战。我们提出智能体上下文管理（ACM）作为一门学科，涵盖决定记住什么、提取相关性、选择合适的存储方式，并在保持保真度的同时压缩上下文。ACM分解为五个原语：架构设计、摄取、范围界定、预见、压缩与整合。从经济角度看， naive 累积会导致成本呈四次方增长，粗略总结实现线性成本但损失准确性，而经过验证的压缩则在保持保真度的同时实现线性成本。我们的参考实现 Maximem Synap 将这些原语实现为多租户服务，在 Long Mem Eval 上达到 92%，在 Lo Co Mo 上达到 93.2%。我们讨论了组织范围层级，并提出了新的基准维度，包括延迟、代币效率和上下文旋转抗性。
来源: Hacker News · 由HeadlinesBriefing整理摘要