То, как команды осуществляют поиск, быстро меняется. Cursor недавно прекратил поиск вашего кода с помощью эмбеддингов в пользу использования только grep и индексированного поиска. Другие заменяют свои традиционные реранкеры новыми моделями, такими как Jev. Одним из наиболее важных видов знаний, на которые полагаются агенты, являются корпоративные знания: документация, тикеты, сообщения чата, внутренние вики и код. Тем не менее, большинство команд не могут определить, какой поиск работает лучше всего.
Kapa — это платформа для индексации ваших корпоративных знаний и предоставления вашим агентам возможности искать их для получения контекста. Company Knowledge Bench — это то, что мы создали для себя, чтобы улучшить нашу собственную систему: 1 000 оценочных случаев, аннотированных на основе реальных производственных данных. Фиксированный поиск (традиционный RAG), агентный grep и Kapa: 7 поисковых систем на 1 000 оценочных случаев. Вывод: фронтальная модель только с grep соответствует настроенному современному конвейеру поиска с результатом 0,61, но занимает в пять раз больше времени. Оптимизированный агентный поиск (Kapa Deep) работает еще лучше: 0,65 примерно за пять секунд.
Публичные бенчмарки не работают для нас, потому что ни один из них не охватывает все варианты использования и типы запросов, которые мы видим. Варианты использования включают разработчиков, задающих вопросы о продукте через документы, спецификации API, код и проблемы GitHub; продавцов и сотрудников, задающих вопросы о продуктах через Slack, Confluence, Notion; команды поддержки, составляющие ответы на основе старых тикетов. Запросы варьируются от длинных сообщений до точных поисков, таких как "webhook retry backoff config". Company Knowledge Bench оценивает поиск по полноте, минимальности и качеству источника.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing