বিদ্যমান AI কোডিং বেঞ্চমার্ক সমাধানের হার এবং টোকেন খরচ পরিমাপ করে, কিন্তু অতিরিক্ত কোডের জন্য কোনো জরিমানা করে না, যার ফলে দীর্ঘমেয়াদে কোডবেস রক্ষণাবেক্ষণ কঠিন হয়ে ওঠে। Parsimony তৈরি করা হয়েছে AI মডেলগুলো কত কোড যোগ করে তা পরিমাপ করতে, এমন একটি বিষয় যা দীর্ঘমেয়াদি প্রকল্পের জন্য সবচেয়ে গুরুত্বপূর্ণ।
এই টুলটি প্রতিষ্ঠিত বেঞ্চমার্কগুলো ইতিমধ্যে যে প্যাচগুলো প্রকাশ করেছে, যেমন DeepSWE, SWE-bench Verified এবং SWE-bench Live, সেগুলো গ্রহণ করে এবং কোড ইউনিট গণনা করে। এগুলো হলো বিবৃতি, কল, তুলনা, নাম এবং লিটারেলের মতো সিনট্যাক্স উপাদান। কোডের লাইন গণনা করা হয় না, তাই ঠাসাঠাসি করে লেখা কোডের জন্য পুরস্কার নেই, এবং মুছে ফেলা কোড বিয়োগ করা হয়, যার ফলে যোগ করা ইউনিট থেকে মুছে ফেলা ইউনিট বাদ দিয়ে একটি নিট সংখ্যা পাওয়া যায়।
মডেলগুলোকে তারা সমাধান করা কাজগুলোর গড় নিট যোগ করা ইউনিটের ভিত্তিতে র্যাঙ্ক করা হয়, সর্বনিম্ন থেকে শুরু করে। এই গড়ে ব্যর্থ প্রচেষ্টাও অন্তর্ভুক্ত। সমাধানের অবস্থা আসে SWE-bench Verified থেকে, এবং পরীক্ষাগুলো পুনরায় চালানো হয় না। প্রতিটি প্যাচ কাজের কোডে প্রয়োগ করা হয় এবং পরিবর্তিত প্রতিটি ফাইলের উভয় সংস্করণ পার্স করা হয়। কিছুই কার্যকর করা হয় না, এবং পরীক্ষা, ডকুমেন্টেশন ও উৎপন্ন ফাইল বাদ দেওয়া হয়। বর্তমানে শুধু Python পরিমাপ করা হয়।
লেখক সীমাবদ্ধতাগুলোও উল্লেখ করেছেন। ছোট সবসময় ভালো নয়, কারণ ইউনিট আকার পরিমাপ করে, পাঠযোগ্যতা বা নকশা নয়। যেসব মডেল বেশি কোড লেখে তারা সাধারণত বেশি কাজও সমাধান করে, এবং ২৬ বা তার বেশি মডেলের বোর্ডে স্পিয়ারম্যান সম্পর্ক ০.৩৩ থেকে ০.৬০। সব মডেল একই এজেন্ট, mini-SWE-agent ব্যবহার করে, যা লেখা কোডের পরিমাণকে এখনও প্রভাবিত করে। ব্যবহারকারীরা একটি ডাউনলোডযোগ্য উদাহরণ ফাইলের মাধ্যমে নিজেদের বেঞ্চমার্ক ডেটা যোগ করতে পারেন, যা ব্রাউজারেই থেকে যায়।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing