Retrieval-Augmented Generation (RAG) beantwortet Fragen mithilfe eines Dokumentenkorpus. Die typische Evaluierung sendet eine gut formulierte Frage an einen ordentlichen Korpus und prüft, ob der Retriever die richtige Passage zurückgibt. Produktionssammlungen bleiben selten ordentlich: Alte Seiten bleiben nach Richtlinienänderungen bestehen, Nutzer tippen Tippfehler wie „warehuse“, OCR liest „SSO“ möglicherweise als „SS0“, und Tabellen werden über Seiten hinweg aufgeteilt. Jedes Problem kann den Retriever zur falschen Passage schicken und dem Sprachmodell einen falschen Kontext geben.

Ein kleiner Retriever mit Fehlerinjektion—dem absichtlichen Hinzufügen von Problemen—testet die Reaktion des Systems. Ich habe eine veraltete Richtlinienseite, einen OCR-Zeichentausch, einen Tippfehler in der Abfrage und eine geteilte Tabelle hinzugefügt. Die Spielzeug-Pipeline verwendet 4 kurze Dokumente und eine Bewertungsfunktion, die Abfragen und Dokumente in Kleinbuchstaben-Token aufteilt und 1 Punkt pro übereinstimmendem Token vergibt. Die höchste Punktzahl gewinnt.

Veraltete Dokumente widersprechen sich: Die Rückgaberichtlinie änderte sich 2026 von 60 Tagen auf 30 Tage, aber die Aufnahme fügte die neue Seite hinzu, ohne die alte zu entfernen. Beide erzielen die gleiche Punktzahl, sodass die Listenreihenfolge die Richtlinie von 2024 zurückgibt. Ein Aktualitäts-Tiebreaker behebt dies.

OCR-Fehler verbergen übereinstimmende Wörter: „Enterprise“ wird zu „Enterpr1se“ und „SSO“ wird zu „SS0“. Alle Dokumente liegen bei 0 gleichauf und geben die Rückgaberichtlinie zurück. Eine Normalisierungsfunktion korrigiert bekannte OCR-Ersetzungen vor der Tokenisierung.

Wichtige Entitäten: Personen: Sara Nóbrega