Генерация с дополнением на основе поиска (RAG) отвечает на вопросы, используя корпус документов. Типичная оценка отправляет хорошо написанный вопрос в аккуратный корпус и проверяет, возвращает ли поисковик правильный фрагмент. Производственные коллекции редко остаются аккуратными: старые страницы остаются после изменений политики, пользователи вводят опечатки вроде «warehuse», OCR может прочитать «SSO» как «SS0», а таблицы разбиваются по страницам. Каждая проблема может отправить поисковик к неправильному фрагменту, давая языковой модели неверный контекст.

Небольшой поисковик с инъекцией сбоев—намеренным добавлением проблем—проверяет реакцию системы. Я добавил устаревшую страницу политики, замену символа OCR, опечатку в запросе и разделённую таблицу. Игрушечный конвейер использует 4 коротких документа и функцию оценки, которая разбивает запросы и документы на строчные токены, давая 1 балл за каждый совпадающий токен. Побеждает наивысший балл.

Устаревшие документы противоречат друг другу: политика возврата изменилась с 60 дней на 30 дней в 2026 году, но при загрузке новая страница была добавлена без удаления старой. Обе получают одинаковый балл, поэтому порядок списка возвращает политику 2024 года. Тай-брейк по свежести исправляет это.

Ошибки OCR скрывают совпадающие слова: «Enterprise» становится «Enterpr1se», а «SSO» становится «SS0». Все документы получают 0, возвращая политику возврата. Функция нормализации исправляет известные замены OCR перед токенизацией.

Ключевые сущности: Люди: Sara Nóbrega