HeadlinesBriefing favicon HeadlinesBriefing.com

Grep побеждает LSP: Почему агенты кодирования предпочитают лексический поиск

Hacker News •
×

Исследование, сравнившее лексический поиск (grep) с семантической навигацией, поддерживаемой LSP, показало, что несмотря на более высокую точность LSP, агенты кодирования часто предпочитают grep. При тестировании трех моделей Claude (Opus 4.8, Sonnet 4.6, Haiku 4.5) в репозиториях Python и TypeScript агенты выбирали семантические инструменты только в 0-6% случаев для простых задач по локализации кода. Принудительное использование семантических путей сначала снизило уровень успеха с 100% до 89%. Однако для задач на полноту ссылок, таких как поиск всех вызывающих, модели выбирали семантическую навигацию в 45-57% случаев, достигая точности 1,00 против 0,76 у grep за счет устранения ложных совпадений. Показатель recall оставался близким к 0,66 для обоих методов, ограниченным тщательностью агента, а не точностью извлечения. Более сильные модели показали улучшение точности, но с увеличением потребления токенов. Шум в кодовой базе оказался решающим фактором: в чистых репозиториях TypeScript LSP не дал прироста F1 и использовал на 16% больше токенов; в зашумленных репозиториях он улучшил F1 на 0,246 при уменьшении использования токенов на 12%. Ключевым предиктором оказался лексический шум, а не сила статической типизации. Результаты указывают на то, что удобство использования инструментов зависит от формата возврата контекста и знакомства с моделью, а не только от точности. Модель и ее привычный цикл использования инструментов функционируют как единая поверхность возможностей, где выбор инструмента определяется типом задачи, а не привычкой.