2025年1月、Aditi Singhらの共著者は、エージェント型の検索拡張生成（エージェント型RAG）に関するサーベイを発表しました。彼らはこれを、内部にAIエージェントを備えた検索システムとして説明しています。このエージェントは次の手順を計画し、自身の結果を確認し、情報を探す間に電卓や検索ボックスなどの他のツールを使うことができます。同じサーベイは、評価と効率性を未解決の課題として挙げており、本テストはまさにその部分を測定することを目的としていました。
検索拡張生成（RAG）とは、言語モデルが、まず文書コレクションから検索したテキストを使って質問に答える仕組みです。通常の検索では、質問を書かれたとおりに一度だけ検索します。エージェント型RAGには、最初の結果を読み、検索を終えるか新たな検索を書くかを判断するエージェントが加わります。検索回数を増やせば、より良い根拠が見つかるはずです。しかし、追加の検索ごとに言語モデルを再び呼び出す必要があり、利用者の待ち時間が増え、元の質問より劣る質問をエージェントが書いてしまう機会も増えます。
筆者は、同じ298問と、最近のarXiv論文2,000件に対して4つの検索手法を実行しました。テストの構築と実行にはAIコーディングアシスタントのClaude Codeを使用しました。比較した手法は、通常の検索、上位50件の結果を並べ替えるリランカー、3つの代替クエリを生成する質問書き換え器、そして最大3回まで検索するエージェントです。各手法は、正解の論文を上位5件に入れられた頻度で評価されました。
エージェントは96.87％の質問で正解論文を上位5件に入れ、通常の検索の95.64％を上回りました。差の+1.2ポイントの妥当な範囲は-0.8から+3.5で、ゼロを含むため、テストでは両者を区別できませんでした。エージェントは通常の検索が見逃した論文を見つけましたが、通常の検索が見つけていた論文の一部を取りこぼしもしました。
出典: Towards Data Science · 要約：HeadlinesBriefing