HeadlinesBriefing favicon HeadlinesBriefing.com

为什么RAG复杂度应该被赢得而非默认采用

Towards Data Science •
×

检索增强生成(RAG)架构已经远远超出了原始的检索-生成模式。当代系统越来越多地融入密集检索和词汇检索、查询重写、排名融合、神经重排序、问题分解、纠正检索、反思以及基于代理的编排。这些技术可以显著提升复杂信息寻求任务的性能。

然而,它们经常在底层检索子系统尚未独立评估之前就被引入。最近的研究表明,相对传统的检索方法仍然具有很强的竞争力:词汇检索在专业领域表现良好,带有重排序的混合检索提供了可靠的基线,甚至代理系统在构建于更强检索之上时也会表现得更好。

检索质量和代理推理解决问题的不同方面。当证据可以通过明确定义的检索步骤恢复时,主要关注点是搜索质量。当检索是迭代的、多跳的,或依赖于中间证据时,基于代理的检索变得更加有用。架构复杂度应对应已证明的失败模式。

当证据存在于可检索单元中但未能进入上下文窗口时,问题更可能出现在搜索和检索子系统。从系统设计角度看,检索和生成在概念上是独立的操作,其失败模式应独立评估。

常见问题:为什么RAG复杂度应该被赢得而不是作为默认采用?

因为额外的推理层无法修复根本的检索失败。当相关证据在候选集之外被排名时,无论多少查询重写、重排序或代理编排都无法恢复它。复杂度应仅在检索被独立评估并识别出具体失败模式后引入。