2025年1月,Aditi Singh及其合著者发表了一篇关于智能体检索增强生成(agentic RAG)的综述。他们将其描述为内部带有AI智能体的搜索系统。该智能体可以规划下一步行动、检查自身的结果,并在查找信息时使用计算器或搜索框等其他工具。同一综述将评估与效率列为待解决的开放性挑战,而本次测试正是要衡量这一部分。
检索增强生成(RAG)是指语言模型先从文档库中检索文本,再利用这些文本回答问题。普通搜索只会按照原样对问题进行一次查询。智能体RAG则增加了一个智能体,它会阅读最初的结果,并决定是停止还是发起新的搜索。更多的搜索本应找到更好的证据,但每次额外搜索都需要再次调用语言模型,会增加用户等待的时间,并给智能体另一次写出比原始查询更差的查询的机会。
作者在相同的298个问题和2000篇近期arXiv论文上测试了四种检索方法,测试由AI编程助手Claude Code构建和运行。这四种方法分别是:普通搜索;对前50个结果重新排序的重排序器;生成三个替代查询的问题改写器;以及最多搜索三次的智能体。每种方法都根据其前五个结果中正确论文出现的频率进行评分。
智能体在96.87%的问题中将正确论文排在前五位,而普通搜索为95.64%。+1.2个百分点的差距,其合理区间为-0.8至+3.5,包含零值,因此该测试无法区分两者。智能体找到了普通搜索遗漏的论文,但也丢失了一些普通搜索已经找到的论文。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要