Pembelajaran mesin bertujuan generalisasi, bukan hafalan, dan overfitting terjadi saat model berkinerja baik pada data pelatihan tapi buruk pada contoh tak terlihat. Pertahanan standar pakai set validasi dan uji cadangan, tapi cek dan penyesuaian berulang berbasis data validasi bisa jadikan itu bagian proses pelatihan, mengakibatkan overfitting. Di riset, dataset benchmark dipakai ulang bertahun-tahun, bikin loop hill-climbing yang seharusnya overfit, tapi kemajuan tetap nyata. Misteri terpecah lewat studi baru soal agen riset berbasis LLM, nunjukin kompresi — preferensi model simpel yang muat di token lebih sedikit — mencegah overfitting. Dengan reset memori agen dan kontrol alur info, peneliti buktiin agen tetep generalisasi meski evaluasi benchmark berulang, kasih penjelasan presisi berbasis Occam's razor kenapa riset ML nyata tak ambruk jadi model overfit.

Paper ngungkapin agen yang kompresi knowledgenya, yaitu hasilin penjelasan ringkas yang muat di budget token terbatas, cenderung gak overfit validasi benchmark. Kompresi ini bertindak regularisasi implisit, nyelaraskan kompleksitas model dengan distribusi data dasar. Akibatnya, meski banyak perbaikan iteratif di benchmark sama, agen lanjut generalisasi ke test set baru, mirroring sukses riset ML human-driven.

Temuan kunci ngejarin agen riset dan desain model masa depan harus masukin kendala kompresi lebih kuat buat naikkan robustness dan pastiin performance gain translate ke skenario real-world bukan cuma hafalan benchmark.