一个名为Dolphin Bench的新基准测试旨在检验AI助手的记忆是否真正帮助它完成任务，而不仅仅是回忆事实。大多数记忆测试会询问助手过去的事情，例如某人喜欢哪家咖啡店。作者认为这种方法过于简单，因为问题本身就暗示必须查找某个事实。相比之下，Dolphin Bench会给助手一项工作，例如点咖啡，然后检查它是否使用了正确的事实。每个模拟用户拥有约50万个token的聊天历史和200项任务，每项任务都会在有和没有相关历史的情况下分别进行检查。结果不仅要报告准确率，还必须报告总成本和时间。Dolphin Bench由出售记忆系统的公司Mem0运营，其70.67%的最高分来自Mem0的设置。作者并未复现Dolphin Bench，也没有测试任何公司的产品。
作者转而构建了一个规模较小的测试。虚构的项目经理Dana Whitfield拥有约4万个token的一年聊天记录。助手需要完成30项需要用到该历史中一到两个事实的任务，并回答30个关于同一事实的直接问题。研究在两种模型上尝试了四种记忆设计，共进行1,260次运行，所有运行均记录在Weights & Biases中。这四种设计分别是：传递完整历史、传递概括该历史的小抄、仅检索匹配的页面，以及完全不给助手任何记忆。
有一个结果尤为突出。在可以获得完整历史的情况下，GPT-4o mini正确回答了97%的问题，但只完成了58%的任务。检索这种成本更低的方法，任务完成率达到89%。完整历史的方法成本是查找笔记的20至31倍，而在任务表现上并没有更好。
文章最后附有一个简短的脚本，让读者可以在自己的历史记录和任务上运行这四种记忆设计。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要