মেশিন লার্নিংর লক্ষ্য সাধারণীকরণ, স্মরণ নয়, এবং ওভারফিটিং ঘটে যখন একটি মডেল প্রশিক্ষণ ডেটায় ভালো পারফর্ম করে কিন্তু অনদেখা উদাহরণে খারাপ। মানক প্রতিরক্ষা হোল্ড-আউট ভ্যালিডেশন এবং টেস্ট সেট ব্যবহার করে, কিন্তু ভ্যালিডেশন ডেটার ভিত্তিতে বারবার চেক এবং অ্যাডজাস্ট করলে সেটি প্রশিক্ষণ প্রক্রিয়ার অংশ হতে পারে, যা ওভারফিটিংয়ে নিয়ে যায়। গবেষণায়, বেঞ্চмар্ক ডেটাসেট বছর পর বছর পুনরায় ব্যবহার করা হয়, একটি হিল-ক্লাইম্বিং লুপ তৈরি করে যা সিদ্ধান্তিকভাবে ওভারফিট হওয়া উচিত, তবুও প্রগতি আসল থাকে। এই রহস্য LLM-ভিত্তিক গবেষণা এজেন্টের ওপর একটি নতুন গবেষণায় ব্যাখ্যা করা হয়েছে, যা দেখায় যে কম্প্রেশন — কম টোকেনে ফিট হওয়া সহজ মডেল পছন্দ করা — ওভারফিটিং রোধ করে। এজেন্টের মেমরি রিসেট করে এবং তথ্য প্রবাহ নিয়ন্ত্রণ করে, গবেষকরা দেখায় যে এজেন্টরা বারবার বেঞ্চмар্ক মূল্যায়নের পরেও সাধারণীকরণ বজায় রাখে, বাস্তব বিশ্বের এমএল গবেষণা ওভারফিট মডেলে ধ্বস্ত হয় না কেন তার একটি সঠিক, অকামের রেজর-ভিত্তিক ব্যাখ্যা দেয়।

পেপারটি প্রকাশ করে যে যেসব এজেন্ট তাদের জ্ঞান কম্প্রেস করে, অর্থাৎ সীমিত টোকেন বাজেটে ফিট হওয়া সংক্ষিপ্ত ব্যাখ্যা তৈরি করে, সেসব ভ্যালিডেশন বেঞ্চмар্কে ওভারফিট হওয়ার সম্ভাবনা কম। এই কম্প্রেশন একটি নিহিত নিয়মিতকারী হিসেবে কাজ করে, মডেল জটিলতাকে অন্তর্নিহিত ডেটা বিতরণের সাথে সারিবদ্ধ করে। ফলে, একই বেঞ্চмар্কে অনেক পুনরাবৃত্তিমূলক উন্নতির পরেও, এজেন্টরা নতুন টেস্ট সেটে সাধারণীকরণ চালিয়ে যায়, মানব-চালিত এমএল গবেষণার পর্যবেক্ষিত সাফল্যকে প্রতিফলিত করে।

প্রধান ফলাফলগুলো ইঙ্গিত দেয় যে ভবিষ্যতের গবেষণা এজেন্ট এবং মডেল ডিজাইনে শক্তিশালী কম্প্রেশন বাধ্যতামূলক করা উচিত টেকসইতা বাড়াতে এবং নিশ্চিত করতে যে পারফরমেন্স লাভ বাস্তব বিশ্বের পরিস্থিতিতে রূপান্তরিত হয় শুধু বেঞ্চмар্ক মেমোরাইজেশনে নয়।