团队进行检索的方式正在迅速变化。Cursor 最近停止使用嵌入搜索代码，转而仅依赖 grep 和索引搜索。其他人正在用 Jev 等新模型替换传统的重排序器。代理依赖的最重要知识之一是公司知识：文档、工单、聊天消息、内部维基和代码。然而，大多数团队无法判断哪种检索效果最好。
Kapa 是一个用于索引公司知识并让代理搜索上下文的平台。Company Knowledge Bench 是我们为改进自身系统而构建的：1,000 个评估案例，来自真实生产数据并经过标注。固定检索（传统 RAG）、代理 grep 和 Kapa：7 个检索器在 1,000 个评估案例上。要点：一个仅使用 grep 的前沿模型与经过调优的现代检索管道匹配，得分为 0.61，但耗时是其五倍。优化的代理检索器（Kapa Deep）表现更好：约五秒内达到 0.65。
公共基准测试对我们不适用，因为它们没有涵盖我们看到的所有用例和查询类型。用例包括开发人员通过文档、API 规范、代码和 GitHub 问题询问产品；销售和员工通过 Slack、Confluence、Notion 询问产品；支持团队根据旧工单起草回复。查询从长消息到精确搜索（如“webhook retry backoff config”）不等。Company Knowledge Bench 根据完整性、最小性和源质量对检索进行评分。
来源: Hacker News · 由HeadlinesBriefing整理摘要