HeadlinesBriefing favicon HeadlinesBriefing.com

Grep LSP को हराता है: कोडिंग एजेंट्स लेक्सिकल सर्च को क्यों पसंद करते हैं

Hacker News •
×

लेक्सिकल सर्च (grep) और LSP-समर्थित अर्थपूर्ण नेविगेशन की तुलना करने वाले एक अध्ययन में पाया गया कि हालांकि LSP की सटीकता अधिक है, फिर भी कोडिंग एजेंट्स अक्सर grep को प्राथमिकता देते हैं। Python और TypeScript रिपॉजिटरी पर तीन Claude मॉडल (Opus 4.8, Sonnet 4.6, Haiku 4.5) का परीक्षण करने पर, एजेंट्स ने साधारण कोड-स्थिति कार्यों के लिए केवल 0-6% समय में अर्थपूर्ण उपकरण चुने। अर्थपूर्ण-पहले पथों को बल देने से सफलता दर 100% से घटकर 89% रह गई। हालांकि, सभी कॉलर्स खोजने जैसे संदर्भ-सम्पूर्णता कार्यों के लिए, मॉडल ने 45-57% समय में अर्थपूर्ण नेविगेशन चुना, जिससे 1.00 की सटीकता हासिल हुई, जबकि grep की सटीकता 0.76 रही —这是因为 अर्थपूर्ण नेविगेशन गलत मिलानों को खत्म कर देता है। दोनों के लिए recall लगभग 0.66 पर रहा, जो एजेंट की विस्तृतता द्वारा सीमित रहा, न कि पुनः प्राप्ति की सटीकता द्वारा। अधिक शक्तिशाली मॉडलों ने सटीकता में वृद्धि देखी लेकिन टोकन उपयोग बढ़ गया। कोडबेस शोर निर्णायक साबित हुआ: साफ TypeScript रिपॉजिटरी पर, LSP ने कोई F1 लाभ नहीं दिया और 16% अधिक टोकन का उपयोग किया; शोर वाले रिपॉजिटरी पर, इसने F1 में 0.246 की वृद्धि की और टोकन उपयोग में 12% की कमी की। मुख्य भविष्यवाणी कारक लेक्सिकल शोर था, स्थैतिक टाइपिंग की ताकत नहीं। परिणाम बताते हैं कि टूल की उपयोगिता संदर्भ प्रारूप लौटाने और मॉडल की परिचितता पर निर्भर करती है, केवल सटीकता पर नहीं। एक मॉडल और उसका परिचित टूल लूप एक ही क्षमता सतह बनाते हैं, जो आदत के बजाय कार्य प्रकार द्वारा रूटिंग करते हैं।