La génération augmentée par récupération (RAG) répond aux questions à l'aide d'un corpus de documents. L'évaluation typique envoie une question bien rédigée à un corpus bien rangé et vérifie si le récupérateur renvoie le bon passage. Les collections de production restent rarement bien rangées : les anciennes pages subsistent après les changements de politique, les utilisateurs tapent des fautes de frappe comme « warehuse », l'OCR peut lire « SSO » comme « SS0 », et les tableaux se divisent sur plusieurs pages. Chaque problème peut envoyer le récupérateur vers le mauvais passage, donnant au modèle de langage un contexte incorrect.

Un petit récupérateur avec injection de fautes—ajoutant délibérément des problèmes—teste la réponse du système. J'ai ajouté une page de politique obsolète, une substitution de caractère OCR, une faute de frappe dans la requête et un tableau divisé. Le pipeline jouet utilise 4 documents courts et une fonction de notation qui divise les requêtes et les documents en jetons minuscules, donnant 1 point par jeton correspondant. Le score le plus élevé gagne.

Les documents obsolètes se contredisent : la politique de retour est passée de 60 jours à 30 jours en 2026, mais l'ingestion a ajouté la nouvelle page sans supprimer l'ancienne. Les deux obtiennent le même score, donc l'ordre de la liste renvoie la politique de 2024. Un départage par récence corrige cela.

Les erreurs OCR cachent les mots correspondants : « Enterprise » devient « Enterpr1se » et « SSO » devient « SS0 ». Tous les documents sont à égalité à 0, renvoyant la politique de retour. Une fonction de normalisation corrige les substitutions OCR connues avant la tokenisation.

Entités clés : Personnes : Sara Nóbrega

FAQ : Qu'est-ce que l'injection de fautes dans un pipeline RAG ?

L'injection de fautes consiste à ajouter délibérément des problèmes—comme des documents obsolètes, des erreurs OCR, des fautes de frappe dans les requêtes ou des tableaux divisés—pour tester la réponse d'un système de récupération.

FAQ Q : Qu'est-ce que l'injection de fautes dans un pipeline RAG ?

FAQ A : L'injection de fautes consiste à ajouter délibérément des problèmes—comme des documents obsolètes, des erreurs OCR, des fautes de frappe dans les requêtes ou des tableaux divisés—pour tester la réponse d'un système de récupération.