একটি সফল AI কোডিং এজেন্ট রানও অনেক অপচয়ী প্রচেষ্টা লুকিয়ে রাখতে পারে। একটি উদাহরণে, একটি এজেন্ট চতুর্থ টার্নে টেস্ট পাস করেছিল, কিন্তু দশম টার্ন পর্যন্ত কাজ চালিয়ে যায়, এবং তার পরিবর্তিত আটটি লাইনের মধ্যে ছয়টি রেফারেন্স ফিক্সের তুলনায় অপ্রয়োজনীয় ছিল। একটি আদর্শ পাস/ফেল পরীক্ষা এই রানকে একটি পরিষ্কার ও দক্ষ রানের সমান নম্বর দেয়।
লেখক উল্লেখ করেন যে এই পরীক্ষার এজেন্টটি সিমুলেটেড। Claude Code বা Codex-এর মতো প্রকৃত কোডিং এজেন্ট চালানোর পরিবর্তে, গবেষণায় সিদ্ধান্ত নেওয়ার জন্য একটি সিড করা Python নীতি ব্যবহার করা হয়েছে, যদিও রিপোজিটরি, সম্পাদনা, ডিফ, টেস্ট রান ও ব্যর্থতাগুলো বাস্তব। লক্ষ্য ছিল একটি পাস করা প্যাচে পৌঁছাতে এজেন্টের কতগুলো অতিরিক্ত টার্ন লাগে, সেই কাজের কতটুকু প্রয়োজনীয় ছিল, এবং আশেপাশের ওয়ার্কফ্লো অপ্রয়োজনীয় প্রচেষ্টা কমাতে পারে কি না, তা পরিমাপ করা।
বিশ্লেষণটি প্রায় ৫০,০০০ সিমুলেটেড রানের উপর ভিত্তি করে, যার মধ্যে রয়েছে একটি সম্মতি যাচাই, আলাদা নিয়মের পরীক্ষা এবং একটি হোল্ড-আউট স্যুট। এটি SWE-bench-এর উপর নির্ভর করে, যা ১২টি Python রিপোজিটরির ২,২৯৪টি বাস্তব GitHub ইস্যুর একটি বেঞ্চমার্ক এবং শুধু চূড়ান্ত প্যাচের স্কোর করে। সেখানে দুটি রান উভয়ই সফল হতে পারে, অথচ একটি অনেক বেশি টার্ন, সময় ও টোকেন নেয় এবং বেশি পরিবর্তন রেখে যায়।
নিবন্ধটি চূড়ান্ত প্যাচের আকার এবং মোট কাজকে আলাদা করে, যার মধ্যে ব্যর্থ টেস্ট রান, পুনরাবৃত্ত কমান্ড, ভুল ফাইলে সম্পাদনা এবং ফিরিয়ে নেওয়া পরিবর্তন অন্তর্ভুক্ত। পাস রেট এই প্রচেষ্টাকে সম্পূর্ণভাবে উপেক্ষা করে। গবেষণাটির লক্ষ্য হলো এই লুকানো কাজের খরচ দেখানো এবং হার্নেস নিয়ম কীভাবে তা কমাতে পারে তা খতিয়ে দেখা।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing