La forma en que los equipos realizan la recuperación está cambiando rápidamente. Cursor recientemente dejó de buscar tu código mediante embeddings para confiar solo en grep y búsqueda indexada. Otros están reemplazando sus rerankers tradicionales por nuevos modelos como Jev. Uno de los tipos de conocimiento más importantes en los que confían los agentes es el conocimiento empresarial: documentación, tickets, mensajes de chat, wikis internas y código. Sin embargo, la mayoría de los equipos no pueden determinar qué recuperación funciona mejor.
Kapa es una plataforma para indexar tu conocimiento empresarial y permitir que tus agentes lo busquen para obtener contexto. El Company Knowledge Bench es lo que construimos para nosotros mismos para mejorar nuestro propio sistema: 1,000 casos de evaluación anotados a partir de datos de producción reales. Recuperación fija (RAG tradicional), grep agéntico y Kapa: 7 recuperadores en 1,000 casos de evaluación. La conclusión: un modelo fronterizo con solo grep iguala un pipeline de recuperación moderno ajustado con 0.61, pero toma cinco veces más tiempo. Un recuperador agéntico optimizado (Kapa Deep) hace aún mejor: 0.65 en unos cinco segundos.
Los benchmarks públicos no funcionan para nosotros porque ninguno cubre todos los casos de uso y tipos de consultas que vemos. Los casos de uso incluyen desarrolladores preguntando sobre un producto a través de documentos, especificaciones de API, código y problemas de GitHub; ventas y empleados preguntando sobre productos a través de Slack, Confluence, Notion; equipos de soporte redactando respuestas a partir de tickets antiguos. Las consultas varían desde mensajes largos hasta búsquedas precisas como "webhook retry backoff config". Company Knowledge Bench puntúa la recuperación en integridad, minimalidad y calidad de fuente.
Fuente: Hacker News · Resumido por HeadlinesBriefing