HeadlinesBriefing favicon HeadlinesBriefing.com

构建真实可信的AI:超越RAG到基于证据的系统

Towards Data Science •
×

许多LLM系统中存在一个类别错误:检索文档、将其放入上下文,然后称答案为“有根据的”。检索提供了证据候选的访问权限,但并不能证明检索到的段落支持某个声明。段落可能是过时的、不完整的、主题相似但不蕴含的、冲突的、不可信的或恶意注入的。最初的RAG论文将溯源视为一个开放问题。

后RAG时代的目标必须是一个基于证据的叙事系统,其中每个实质性命题都有可检查的支持,每个业务决策都是可追溯的,不确定性有一流的表示。优化证据系统会创建一个开发者可以检查的工件。新的控制单元是原子声明,而不是文档。声明账本列出了所有原子声明及其证据和控制:一个稳定的claim_id、带有精确跨度的声明文本、逐字证据跨度、带有内容哈希的规范来源、检索上下文以及支持决策(直接支持、允许综合、证据不足、证据冲突、不支持)。

不可协商的发布门槛:没有可接受支持的实质性声明是请求修改、弃权、标记为推断或升级。这迫使在无支持的流畅性和可见的不确定性之间做出产品决策。

关键实体:公司:Towards Data Science