HeadlinesBriefing favicon HeadlinesBriefing.com

কোডিং এজেন্ট হারনেস ডিজাইনের পরীক্ষামূলক অধ্যयन

Hacker News •
×

বিশ্বাসপাতী חוקকরা স্বায়ত্ত কোডিং এজেন্টের হারনেস ডিজাইনের পরীক্ষামূলক অধ্যयन করেছেন, যেখানে সফটওয়্যার ইঞ্জিনিয়ারিং কর্মক্ষমতায় পৃথক উপাদান들의 প্রভাব মূল্যায়ন করা হয়েছে। তারা ফিক্সড এক্সিকিউশন লুপ সহ হালকা ওজনবিশেষের হারনেস ব্যবহার করে, SWE-Bench Verified এবং Terminal-Bench 2.1-এ চারটি মডেলে ১৭৬টি মিলিত সেটিংস পরীক্ষা করেছেন, যেখানে পরিকল্পনা, অ্যাকশন স্পেস এবং কনটেক্সট ম্যানেজমেন্ট উপাদানগুলো পরিবর্তন করা হয়েছে।

মुख্য ফলাফলগুলো অন্তর্ভুক্ত: কনটেক্সট-উィন্ডো বাজেট সংকুচিত হলে কনটেক্সট ম্যানেজমেট progressively বেশি মূল্যবান হয়, মূলত কনটেক্সট-ওভারফ্লো ব্যর্থতা প্রতিরোধ করে। LLM-ভিত্তিক সংক্ষেপণ করার আগে রুল-ভিত্তিক ইলিশন করা সবচেয়ে কার্যকর দক্ষতা প্রদান করে, যখন ইলিশ করা কনটেন্ট পুনরুদ্ধারযোগ্য করা জটিলতা বাড়ায় কিন্তু নির্ভুলতায় কোনো লাভ না করে। পরিকল্পনা কমজোর মডেলের জন্য নির্ভুলতার সহায়ক থেকে শুরু করে শক্তিশালী মডেলের জন্য খরচ বাঁচाने वाले উপায়ে পরিবর্তিত হয়, যেখানে নির্ভুলতায় ন্যূনতম পরিবর্তন হয়। পূর্বনির্ধারিত টুলস বাশে দক্ষতা কম থাকা মডেলের কর্মক্ষমতা উন্নত করে, যখন বাশ-সক্ষম মডেল শুধুমাত্র বাশ ইন্টারফেসের মাধ্যমে উল্লেখযোগ্যভাবে কম খরচ অর্জন করে, বিশেষ করে কমান্ড-লাইন-কেন্দ্রিক কাজে।

ট্র্যাজেক্টরি-স্তরের বিশ্লেষণ দেখায় যে কনটেক্সট ম্যানেজমেট এজেন্টের আচরণ পরিবর্তন किए बिना এক্সিকিউশন ট্র্যাজেক্টরি দীর্ঘ করে, পরিকল্পনা পরিবর্তন করে ট্র্যাজেক্টরি কোথায় থামে, এবং অ্যাকশন স্পেস পরিবর্তন করে কোড-লেখনের দান্দিকতা পরিবর্তন করে। এই ফলাফলগুলো মডেল- এবং বাজেট-जागरूক হারনেস ডিজাইনের জন্য सूचित করে এবং ভবিষ্যৎ হারনেস উপাদান들의 মূল্যায়নের জন্য একটি মডিউলার ফ্রেমওয়ার্ক প্রদান করে। এই অধ্যयनটি Run-Ze Fan দ্বারা ১৭ সেপ্টেম্বর, ২০২৬-এ জমা দেওয়া হয়েছিল।

মূল エンティティ: ব্যক্তি: Run-Ze Fan