Como as equipes fazem a recuperação está mudando rapidamente. A Cursor recentemente parou de pesquisar seu código por meio de embeddings para confiar apenas em grep e pesquisa indexada. Outros estão trocando seus rerankers tradicionais por novos modelos como Jev. Um dos tipos mais importantes de conhecimento em que os agentes confiam é o conhecimento empresarial: documentação, tickets, mensagens de chat, wikis internas e código. No entanto, a maioria das equipes não consegue dizer qual recuperação funciona melhor.
Kapa é uma plataforma para indexar seu conhecimento empresarial e permitir que seus agentes o pesquisem para obter contexto. O Company Knowledge Bench é o que construímos para nós mesmos para melhorar nosso próprio sistema: 1.000 casos de avaliação anotados a partir de dados de produção reais. Recuperação fixa (RAG tradicional), grep agentivo e Kapa: 7 recuperadores em 1.000 casos de avaliação. A conclusão: um modelo de fronteira com apenas grep corresponde a um pipeline de recuperação moderno ajustado em 0,61, mas leva cinco vezes mais tempo. Um recuperador agentivo otimizado (Kapa Deep) faz ainda melhor: 0,65 em cerca de cinco segundos.
Os benchmarks públicos não funcionam para nós porque nenhum deles cobre todos os casos de uso e tipos de consultas que vemos. Os casos de uso incluem desenvolvedores perguntando sobre um produto por meio de documentos, especificações de API, código e problemas do GitHub; vendas e funcionários perguntando sobre produtos por meio de Slack, Confluence, Notion; equipes de suporte redigindo respostas a partir de tickets antigos. As consultas variam de mensagens longas a pesquisas precisas como "webhook retry backoff config". O Company Knowledge Bench pontua a recuperação em integridade, minimalidade e qualidade da fonte.
Fonte: Hacker News · Resumido por HeadlinesBriefing