HeadlinesBriefing favicon HeadlinesBriefing.com

Grep LSP-কে পরাজিত করে: কোডিং এজেন্টরা লেক্সিকাল সার্চ কেন পছন্দ করে?

Hacker News •
×

লেক্সিকাল সার্চ (grep) এবং LSP-সমর্থিত অর্থবোধী নেভিগেশনের তুলনা করার একটি গবেষণায় পाया গেছে যে, যদিও LSP- এর নির্ভুলতা বেশি, কোডিং এজেন্টরা প্রায়শই grep-কে অগ্রাধিকার দেয়। Python এবং TypeScript রিপোজিটরিতে তিনটি Claude মডেল (Opus 4.8, Sonnet 4.6, Haiku 4.5) পরীক্ষা করার পর, এজেন্টরা সহজ কোড-অবস্থান কাজের জন্য শুধু 0-6% সময়ে অর্থবোধী সরঞ্জামগুলো বেছে নিয়েছে। অর্থবোধী-প্রথম পথগুলো বাধ্য করলে সাফল্যের হার 100% থেকে 89% এ ঘাটে গেছে। তবে, সব কলার খুঁজে বের করার মতো riferimento-সম্পূর্ণতা কাজের জন্য, মডেলগুলো 45-57% সময়ে অর্থবোধী নেভিগেশন বেছে নিয়েছে, ফলে 1.00 নির্ভুলতা অর্জন করেছে, যেখানে grep- এর নির্ভুলতা 0.76 — কারণ অর্থবোধী নেভিগেশনটি ভłu মেলকে মুছে ফেলে। উভয়ের জন্য recall تقریباً 0.66-এ থেকেছে, যা এজেন্টের বিস্তারিততার দ্বারা সীমিত, পুনরুদ্ধারের নির্ভুলতার দ্বারা নয়। শক্তিশালী মডেলগুলো নির্ভুলতায় লাভ দেখিয়েছে কিন্তু টোকন ব্যবহার বাড়িয়েছে। কোডবেসের শোরনিশ্চয়ভাবে నిర్ణায়ক সाबিত হয়েছে: পরিষ্কার TypeScript রিপোজিটরিতে, LSP- কোনো F1 লাভ দেনি এবং 16% বেশি টোকন ব্যবহার করেছে; শোরযুক্ত রিপোজিটরিতে, এইটিতে F1-কে 0.246 দ্বারা উন্নত করেছে এবং টোকন ব্যবহার 12% কমিয়েছে। মূল ভবিষ্যদ্বাণীকারী ছিল লেক্সিকাল শোর, স্ট্যাটিক টাইপিংের শক্তি নয়। ফলাফলগুলো সুপারিশ করে যে টूलের ব্যবহারযোগ্যতা প্রেক্ষাপটের ফরম্যাট ফেরত দেওয়ার ও মডেলের পরিচিততায় নির্ভর করে, শুধুমাত্র নির্ভুলতায় নয়। একটি মডেল এবং তার পরিচিত টুল লুপ একসাথে একটি একক ক্ষমতা সতহ তৈরি করে, যা স্বাভাবিক পছন্দের বদলে কাজের ধরন অনুযায়ী রুটিং করে।