HeadlinesBriefing favicon HeadlinesBriefing.com

Grep が LSP を上回る:コーディングエージェントが字句検索を好む理由

Hacker News •
×

字句検索(grep)と LSP サポートの意味論的ナビゲーションを比較した調査で、LSP の精度が高いにもかかわらず、コーディングエージェントがしばしば grep を好むことが判明した。Python と TypeScript リポジトリで Claude の 3 つのモデル(Opus 4.8、Sonnet 4.6、Haiku 4.5)をテストしたところ、エージェントは単純なコード位置特定タスクにおいて意味論的ツールを選択する割合が 0-6% しかなかった。意味論優先パスを強制すると、成功率が 100% から 89% に低下した。ただし、すべての呼び出し元を見つけるような参照完全性タスクでは、モデルは意味論的ナビゲーションを 45-57% の時間選択し、これにより 1.00 の精度を達成した(grep の精度は 0.76)。これは、意味論的ナビゲーションが誤検出を排除するためである。両方の手法での再現率は約 0.66 で、これはエージェントの徹底度による制約であり、検索精度によるものではない。より強力なモデルでは精度が向上したが、トークン使用量が増加した。コードベースのノイズが決定的な要因となった:クリーンな TypeScript リポジトリでは、LSP は F1 の向上をもたらさず、かつ 16% 多くトークンを使用した;ノイズの多いリポジトリでは、LSP が F1 を 0.246 向上させ、かつトークン使用量を 12% 削減した。重要な予測要因は字句ノイズであり、静的型付けの強さではなかった。結果は、ツールの使いやすさがコンテキストの返却形式とモデルの熟悉度に依存し、精度だけによるものではないことを示唆している。モデルとその馴染みのツールループは、1 つの機能面として機能し、習慣ではなくタスクタイプによってルーティングされる。