मशीन लर्निंग का उद्देश्य सामान्यीकरण है, याद रखना नहीं, और ओवरफिटिंग तब होता है जब एक मॉडल प्रशिक्षण डेटा पर अच्छा प्रदर्शन करता है लेकिन अनदेखे उदाहरणों पर खराब। मानक सुरक्षा होल्ड-आउट सत्यापन और परीक्षण सेट का उपयोग करती है, लेकिन सत्यापन डेटा के आधार पर बार-बार जांच और समायोजन करने से यह प्रशिक्षण प्रक्रिया का हिस्सा बन सकता है, जिससे ओवरफिटिंग होता है। शोध में, बेंचमार्क डेटासेट वर्षों तक पुन: उपयोग किए जाते हैं, एक हिल-क्लाइंबिंग लूप बनाते हैं जो सैद्धांतिक रूप से ओवरफिट होना चाहिए, फिर भी प्रगति वास्तविक बनी रहती है। यह रहस्य LLM-आधारित शोध एजेंटों पर एक नए अध्ययन द्वारा समझाया गया है, जो दिखाता है कि संपीड़न - कम टोकन में फिट होने वाले सरल मॉडल को प्राथमिकता देना - ओवरफिटिंग को रोकता है। एजेंट की मेमोरी को रीसेट करके और सूचना प्रवाह को नियंत्रित करके, शोधकर्ता प्रदर्शित करते हैं कि एजेंट बार-बार बेंचमार्क मूल्यांकन के बावजूद सामान्यीकरण बनाए रखते हैं, यह बताते हुए कि वास्तविक दुनिया का ML शोध ओवरफिट मॉडल में क्यों नहीं ढहता।

पेपर से पता चलता है कि जो एजेंट अपने ज्ञान को संपीड़ित करते हैं, यानी सीमित टोकन बजट में फिट होने वाले संक्षिप्त स्पष्टीकरण उत्पन्न करते हैं, वे सत्यापन बेंचमार्क पर ओवरफिट होने की संभावना कम रखते हैं। यह संपीड़न एक निहित नियमितकर्ता के रूप में कार्य करता है, मॉडल की जटिलता को अंतर्निहित डेटा वितरण के साथ संरेखित करता है। नतीजतन, समान बेंचमार्क पर कई पुनरावृत्त सुधारों के बाद भी, एजेंट नए परीक्षण सेट पर सामान्यीकरण करना जारी रखते हैं, मानव-चालित ML शोध की देखी गई सफलता को दर्शाते हैं।

मुख्य निष्कर्ष बताते हैं कि भविष्य के शोध एजेंटों और मॉडल डिजाइनों में मजबूती बढ़ाने के लिए मजबूत संपीड़न बाधाओं को शामिल करना चाहिए और यह सुनिश्चित करना चाहिए कि प्रदर्शन लाभ वास्तविक दुनिया के परिदृश्यों में तब्दील हों न कि केवल बेंचमार्क याद रखने में।