Une étude comparant la recherche lexicale (grep) avec la navigation sémantique soutenue par LSP a révélé que, malgré une précision supérieure de LSP, les agents de codification préfèrent souvent grep. Lors du test de trois modèles Claude (Opus 4.8, Sonnet 4.6, Haiku 4.5) sur des dépôts Python et TypeScript, les agents ont choisi des outils sémantiques seulement entre 0 % et 6 % du temps pour des tâches simples de localisation de code. Forcer des chemins sémantiques en premier a réduit le taux de réussite de 100 % à 89 %.

Cependant, pour les tâches d'exhaustivité des références, comme trouver tous les appelants, les modèles ont choisi la navigation sémantique entre 45 % et 57 % du temps, atteignant une précision de 1,00 contre 0,76 pour grep en éliminant les faux positifs. Le rappel est resté proche de 0,66 pour les deux, limité par la minutie de l'agent plutôt que par la précision de récupération. Les modèles plus puissants ont observé des gains de précision mais une consommation accrue de jetons.

Le bruit dans la base de code s'est avéré décisif : sur des dépôts TypeScript propres, LSP n'a apporté aucun gain en F1 et a utilisé 16 % de jetons en plus ; sur des dépôts bruyants, il a amélioré le F1 de 0,246 avec 12 % de jetons en moins. Le prédicteur clé était le bruit lexical, pas la force de la frappe statique. Les résultats suggèrent que l'utilisabilité des outils dépend du format de retour du contexte et de la familiarité du modèle, et pas seulement de la précision.

Un modèle et sa boucle d'outils familiers forment ensemble une seule surface de capacité, où le routage se fait par type de tâche plutôt que par habitude.