机器学习旨在泛化而非记忆，当模型在训练数据上表现良好但在未见样本上表现不佳时，就会发生过拟合。标准防御手段使用保留的验证集和测试集，但反复基于验证数据检查和调整会导致验证数据成为训练过程的一部分，从而导致过拟合。在研究中，基准数据集被多年重复使用，形成了一个理论上应该过拟合的爬山循环，但进步依然真实。这一谜题由一项关于基于LLM的研究智能体的新研究解释，表明压缩——偏好适合更少token的更简单模型——可以防止过拟合。通过重置智能体的记忆并控制信息流，研究人员证明了智能体尽管反复进行基准评估，仍能保持泛化能力，为真实世界的ML研究为何不会崩溃为过拟合模型提供了一个基于奥卡姆剃刀的精确解释。

论文揭示，压缩其知识的智能体——即产生适合有限token预算的简洁解释——不太容易过拟合验证基准。这种压缩充当隐式正则化器，将模型复杂度与底层数据分布对齐。因此，即使在相同基准上进行多次迭代改进后，智能体仍能继续泛化到新的测试集，这反映了人类驱动的ML研究观察到的成功。

关键发现表明，未来的研究智能体和模型设计应纳入更强的压缩约束，以增强鲁棒性，并确保性能提升转化为真实世界场景，而不仅仅是基准记忆。