В статье представлены десять позиций для корпоративной интеллектуальной обработки документов, которые ставят под сомнение основные руководства по RAG. утверждается, что RAG не является машинным обучением; эмбеддинги не являются магией; сканирование размера чанка оптимизирует неправильное; схема ответа важнее модели. Стандартный шаблон руководства—разбиение документов на чанки, создание эмбеддингов, поиск по косинусному сходству, переранжирование, отправка в LLM—работает на примерах hello-world, но колеблется с реальными корпоративными документами. Десять позиций делятся на три слоя: поиск (структура прежде всего, словари перед моделями, переранжировщики как инструменты, а не этапы, одно векторное хранилище для всего), определение корпоративного (что означает корпоративный, кого усиливает система, кто выбирает маршруты во время выполнения), и аудит (оценка по каждому сбою, реляционная структура между блоками, цитаты как доказательства). Позиция 1 инвертирует стандартное руководство: векторные хранилища являются запасным вариантом, а не основой. Поиск, основанный на структуре, обрабатывает большую часть реальных вопросов; эмбеддинги выступают как страховка для оставшихся случаев. Сопутствующие тетради серии работают на реальных PDF-файлах, демонстрируя поиск, основанный на структуре, до эмбеддингов, типизированные ответы с построчными ссылками, и оценку, разделенную по режиму отказа.

Ключевые сущности: Компании: Anthropic | Люди: Hamel Husain, Eugene Yan, Jason Liu

Часто задаваемые вопросы: Почему основные руководства по RAG терпят неудачу в корпоративной среде?

Основные руководства по RAG полагаются на одно векторное хранилище и подход на основе косинусного сходства, который работает для примеров hello-world, но терпит неудачу с реальными корпоративными документами. В статье выступается за поиск, основанный на структуре, рассматривая векторные хранилища как запасной вариант, и подчеркивается интерпретируемость вместо бенчмарков.