検索拡張生成（RAG）は、文書コーパスを使用して質問に答えます。典型的な評価では、よく書かれた質問を整頓されたコーパスに送り、検索器が正しい箇所を返すかどうかを確認します。本番のコレクションが整頓されたままであることはほとんどありません。ポリシー変更後も古いページが残り、ユーザーは「warehuse」のようなタイプミスを入力し、OCRは「SSO」を「SS0」と読み取る可能性があり、表はページをまたいで分割されます。それぞれの問題が検索器を誤った箇所に送り、言語モデルに誤ったコンテキストを与える可能性があります。

フォールトインジェクション—意図的に問題を追加すること—を備えた小さな検索器は、システムの応答をテストします。私は古いポリシーページ、OCR文字の置換、クエリのタイプミス、分割された表を追加しました。おもちゃのパイプラインは4つの短い文書と、クエリと文書を小文字のトークンに分割し、一致するトークンごとに1点を与えるスコアリング関数を使用します。最高スコアが勝ちます。

古い文書は矛盾します。返品ポリシーは2026年に60日から30日に変更されましたが、取り込みは古いページを削除せずに新しいページを追加しました。両方とも同じスコアになるため、リストの順序で2024年のポリシーが返されます。最新性のタイブレーカーがこれを修正します。

OCRエラーは一致する単語を隠します。「Enterprise」は「Enterpr1se」になり、「SSO」は「SS0」になります。すべての文書が0で並び、返品ポリシーが返されます。正規化関数はトークン化の前に既知のOCR置換を修正します。

主要エンティティ：人物：Sara Nóbrega

FAQ：RAGパイプラインにおけるフォールトインジェクションとは何ですか？

フォールトインジェクションとは、古い文書、OCRエラー、クエリのタイプミス、分割された表などの問題を意図的に追加し、検索システムの応答をテストすることです。

FAQ Q：RAGパイプラインにおけるフォールトインジェクションとは何ですか？

FAQ A：フォールトインジェクションとは、古い文書、OCRエラー、クエリのタイプミス、分割された表などの問題を意図的に追加し、検索システムの応答をテストすることです。