Большинство команд переусложняют стек RAG, сразу переходя к встраиваниям и векторным базам данных, когда пользователи просто хотят найти определенные документы. Прежде чем выбирать архитектуру, рассмотрите пять ключевых факторов: свежесть данных, характеристики корпуса, patterns запросов, масштаб и возможности команды.

Начните с BM25 и полнотекстового поиска (Elasticsearch, Postgres). Этот подход не имеет ML-сложности, не стоит денег за запрос, работает менее чем за 10 мс и легко отлаживается. Он эффективно обрабатывает множество случаев использования без стратегий разбиения и без накладных расходов на оценку. Главное ограничение — отсутствие синонимов и неудача на семантических запросах.

Для запросов, богатых ключевыми словами, с точными совпадениями и специфической терминологией, BM25 идеален. Когда пользователи пишут разговорные запросы, используйте LLM для их переписывания в чистые поисковые запросы. Это стоит около $0,001 за запрос и позволяет быстро итерироваться через изменения системных подсказок.

С встраиваниями, плохие результаты требуют перевстраивания всего корпуса и регрессионного тестирования. С переписыванием запросов, исправьте проблемы, скорректировав системный prompt, и немедленно протестируйте. Начните просто и переходите только тогда, когда у вас есть данные, доказывающие, что вам нужно больше сложности.

Для запросов, богатых ключевыми словами, с точными совпадениями и специфической терминологией, BM25 идеален. Когда пользователи пишут разговорные запросы, используйте LLM для их переписывания в чистые поисковые запросы. Это стоит около $0,001 за запрос и позволяет быстро итерироваться через изменения системных подсказок.

С встраиваниями, плохие результаты требуют перевстраивания всего корпуса и регрессионного тестирования. С переписыванием запросов, исправьте проблемы, скорректировав системный prompt, и немедленно протестируйте. Начните просто и переходите только тогда, когда у вас есть данные, доказывающие, что вам нужно больше сложности.