チームが検索を行う方法は急速に変化しています。Cursorは最近、埋め込みによるコード検索をやめ、grepとインデックス検索のみに依存するようになりました。他のチームは、従来のリランカーをJevのような新しいモデルに交換しています。エージェントが依存する最も重要な知識の1つは、企業知識です：ドキュメント、チケット、チャットメッセージ、内部Wiki、コード。しかし、ほとんどのチームはどの検索が最適かを判断できません。
Kapaは、企業知識をインデックス化し、エージェントがコンテキストのためにそれを検索できるようにするプラットフォームです。Company Knowledge Benchは、私たち自身のシステムを改善するために構築したものです：実際の本番データから注釈が付けられた1,000件の評価ケース。固定検索（従来のRAG）、エージェンティックgrep、Kapa：1,000件の評価ケースにおける7つの検索機能。要点：grepのみを使用するフロンティアモデルは、調整された最新の検索パイプラインと0.61で一致しますが、5倍の時間がかかります。最適化されたエージェンティック検索（Kapa Deep）はさらに優れており、約5秒で0.65を達成します。
公開ベンチマークは、私たちが見るすべてのユースケースとクエリタイプをカバーしていないため、私たちには機能しません。ユースケースには、開発者がドキュメント、API仕様、コード、GitHubの問題を通じて製品について質問する；営業や従業員がSlack、Confluence、Notionを通じて製品について質問する；サポートチームが古いチケットから返信を作成する、などが含まれます。クエリは長いメッセージから「webhook retry backoff config」のような正確な検索までさまざまです。Company Knowledge Benchは、完全性、最小性、ソース品質に基づいて検索をスコアリングします。
出典: Hacker News · 要約：HeadlinesBriefing