HeadlinesBriefing favicon HeadlinesBriefing.com

真実のAI:RAGを超えてエビデンスに基づくシステムへ

Towards Data Science •
×

多くのLLMシステムにはカテゴリーエラーがあります:文書を取得し、それらをコンテキストに入れ、答えを「接地された」と呼ぶことです。取得は証拠の候補へのアクセスを提供しますが、取得したパッセージが主張をサポートすることを証明するものではありません。パッセージは、古い、不完全、主題的に類似しているが含意しない、矛盾している、信頼できない、または悪意を持って注入されたものである可能性があります。元のRAG論文は、来歴を未解決の問題として特定しました。

ポストRAGの目標は、すべての重要な命題が検査可能なサポートを得て、すべてのビジネス決定が追跡可能であり、不確実性が第一級の表現を持つ、エビデンスに基づく物語システムでなければなりません。エビデンスシステムを最適化すると、開発者が検査できる成果物が作成されます。新しい制御の単位は原子的主張であり、文書ではありません。主張台帳は、証拠と制御を備えたすべての原子的主張をリストします:安定したclaim_id、正確なスパンを持つ主張テキスト、逐語的な証拠スパン、コンテンツハッシュを持つ正規ソース、取得コンテキスト、およびサポート決定(直接サポート、許可された合成、証拠不十分、矛盾する証拠、サポートなし)。

交渉の余地のない公開ゲート:受け入れ可能なサポートのない重要な主張は、改訂、棄権、推論としてのラベル付け、またはエスカレーションの要求です。これにより、サポートされていない流暢さと目に見える不確実性の間での製品決定が強制されます。

主要エンティティ:企業:Towards Data Science