Sebuah studi yang membandingkan pencarian leksikal (grep) dengan navigasi semantik yang didukung oleh LSP menemukan bahwa meski LSP memiliki presisi yang lebih tinggi, agen coding sering kali lebih memilih grep. Pengujian tiga model Claude (Opus 4.8, Sonnet 4.6, Haiku 4.5) pada repositori Python dan TypeScript menunjukkan bahwa agen memilih alat semantik hanya sebesar 0-6% waktu untuk tugas lokasi kode sederhana. Memaksa jalur semantik terlebih dahulu mengurangi tingkat keberhasilan dari 100% menjadi 89%.

Namun, untuk tugas kelengkapan referensi seperti mencari semua pemanggil, model memilih navigasi semantik sebesar 45-57% waktu, mencapai presisi 1,00 dibandingkan 0,76 grep dengan menghilangkan kecocokan salah. Recall tetap berada di sekitar 0,66 untuk keduanya, yang dibatasi oleh ketelitian agen bukan oleh presisi pengambilan. Model yang lebih kuat menunjukkan peningkatan presisi tetapi dengan penggunaan token yang lebih tinggi.

Kebisingan basis kode terbukti menjadi faktor decisif: pada repositori TypeScript yang bersih, LSP tidak memberikan peningkatan F1 dan menggunakan 16% lebih banyak token; pada repositori yang berisik, LSP meningkatkan F1 sebesar 0,246 dengan pengurangan penggunaan token sebesar 12%. Prediktor kunci adalah kebisingan leksikal, bukan kekuatan pengetikan statis. Hasil menunjukkan bahwa kegunaan alat bergantung pada format pengembalian konteks dan keakraban model, bukan hanya presisi.

Sebuah model dan loop alat yang akrabnya bersama-sama membentuk satu permukaan kemampuan, di mana perutean dilakukan berdasarkan jenis tugas, bukan kebiasaan.