В январе 2025 года Aditi Singh и соавторы опубликовали обзор по агентной генерации с дополнением извлечением, или агентному RAG. Они описывают его как поисковую систему с встроенным ИИ-агентом. Агент может планировать свой следующий шаг, проверять собственные результаты и использовать другие инструменты, например калькулятор или поисковую строку, во время поиска информации. В том же обзоре оценка и эффективность названы в числе открытых проблем, и именно эту часть и должен был измерить данный тест.
Генерация с дополнением извлечением, или RAG, означает, что языковая модель отвечает на вопрос, используя текст, который сначала извлекла из коллекции документов. Обычный поиск один раз ищет вопрос в том виде, в каком он написан. Агентный RAG добавляет агента, который читает первые результаты и решает, остановиться или выполнить новый поиск. Больше поисков должны находить лучшие доказательства, но каждый дополнительный поиск требует ещё одного вызова языковой модели, добавляет задержку для пользователя и даёт агенту ещё один шанс написать запрос хуже исходного.
Автор запустил четыре метода извлечения на одних и тех же 298 вопросах и 2000 свежих статьях arXiv. Тест создавал и запускал ИИ-ассистент для программирования Claude Code. Методами были обычный поиск, реранкер, переупорядочивающий первые 50 результатов, переформулировщик вопроса, который создаёт три альтернативных запроса, и агент, выполняющий до трёх поисков. Каждый метод оценивался по тому, как часто он помещал нужную статью в свои пять первых результатов.
Агент поместил нужную статью в топ-5 в 96,87% вопросов против 95,64% у обычного поиска. Разница в +1,2 процентного пункта имела правдоподобный диапазон от -0,8 до +3,5, который включает ноль, поэтому тест не смог различить эти два метода. Агент находил статьи, которые пропускал обычный поиск, но также терял некоторые из тех, что обычный поиск находил.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing