機械学習は暗記ではなく汎化を目的とし、モデルが訓練データでは良好でも未見の例では性能が低い場合に過学習が発生します。標準的な防御はホールドアウト検証セットとテストセットを用いますが、検証データに基づく繰り返しの確認と調整により、検証データが訓練プロセスの一部となり、過学習を招く可能性があります。研究ではベンチマークデータセットが数年間再利用され、理論上は過学習すべきヒルクライミングループが形成されますが、進歩は本物です。この謎は、LLMベースの研究エージェントに関する新しい研究によって説明され、圧縮、つまりより少ないトークンに収まるより単純なモデルを好むことが過学習を防ぐことを示しています。エージェントのメモリをリセットし情報フローを制御することで、研究者たちはエージェントが繰り返しベンチマーク評価にもかかわらず汎化性能を維持することを実証し、実世界のML研究がなぜ過学習モデルに崩壊しないのかを、オッカムの剃刀に基づく精密な説明で提示しています。

論文は、知識を圧縮するエージェント、すなわち限られたトークン予算に収まる簡潔な説明を生成するエージェントが、検証ベンチマークへの過学習の傾向が低いことを明らかにしています。この圧縮は暗黙の正則化因子として働き、モデルの複雑さを基盤となるデータ分布と整合させます。その結果、同じベンチマークでの多数の反復的改善後でも、エージェントは新しいテストセットへの汎化を継続し、人間主導のML研究で観察される成功を反映しています。

主要な発見は、将来の研究エージェントとモデル設計により強い圧縮制約を組み込むべきであり、堅牢性を高め、性能向上が単なるベンチマーク暗記ではなく実世界のシナリオに転移することを保証すべきだと示唆しています。