La façon dont les équipes effectuent la récupération change rapidement. Cursor a récemment cessé de rechercher votre code via des embeddings pour ne compter que sur grep et la recherche indexée. D'autres remplacent leurs rerankers traditionnels par de nouveaux modèles comme Jev. L'un des types de connaissances les plus importants sur lesquels les agents s'appuient est la connaissance d'entreprise : documentation, tickets, messages de chat, wikis internes et code. Pourtant, la plupart des équipes ne peuvent pas dire quelle récupération fonctionne le mieux.
Kapa est une plateforme pour indexer vos connaissances d'entreprise et permettre à vos agents de les rechercher pour obtenir du contexte. Le Company Knowledge Bench est ce que nous avons construit pour nous-mêmes afin d'améliorer notre propre système : 1 000 cas d'évaluation annotés à partir de données de production réelles. Récupération fixe (RAG traditionnel), grep agentique et Kapa : 7 récupérateurs sur 1 000 cas d'évaluation. Le point clé : un modèle de frontière avec seulement grep correspond à un pipeline de récupération moderne réglé à 0,61, mais prend cinq fois plus de temps. Un récupérateur agentique optimisé (Kapa Deep) fait encore mieux : 0,65 en environ cinq secondes.
Les benchmarks publics ne fonctionnent pas pour nous car aucun ne couvre tous les cas d'utilisation et types de requêtes que nous voyons. Les cas d'utilisation incluent les développeurs posant des questions sur un produit via des documents, des spécifications API, du code et des problèmes GitHub ; les ventes et employés posant des questions sur des produits via Slack, Confluence, Notion ; les équipes de support rédigeant des réponses à partir d'anciens tickets. Les requêtes varient des longs messages aux recherches précises comme "webhook retry backoff config". Company Knowledge Bench note la récupération sur l'exhaustivité, la minimalité et la qualité des sources.
Source: Hacker News · Résumé par HeadlinesBriefing