Машинное обучение нацелено на обобщение, а не запоминание, и переобучение происходит, когда модель хорошо работает на обучающих данных, но плохо на невидимых примерах. Стандартные защиты используют отложенные валидационные и тестовые наборы, но повторная проверка и корректировка на основе данных валидации может сделать их частью процесса обучения, приводя к переобучению. В исследовании бенчмарк-наборы данных переиспользуются годами, создавая цикл hill-climbing, который теоретически должен приводить к переобучению, но прогресс остается настоящим. Загадка объясняется новым исследованием LLM-базированных исследовательских агентов, показывающим, что сжатие — предпочтение более простых моделей, помещающихся в меньше токенов — предотвращает переобучение. Сбрасывая память агента и контролируя поток информации, исследователи демонстрируют, что агенты сохраняют обобщение несмотря на повторную оценку бенчмарков, предлагая точное, основанное на бритве Оккама, объяснение того, почему реальные ML-исследования не рушатся в переобученные модели.

Статья раскрывает, что агенты, сжимающие свои знания, то есть производящие лаконичные объяснения, помещающиеся в ограниченные токеновые бюджеты, менее склонны к переобучению на валидационных бенчмарках. Это сжатие действует как неявный регуляризатор, согласовывая сложность модели с базовым распределением данных. Следовательно, даже после множества итеративных улучшений на тех же бенчмарках, агенты продолжают обобщать на новые тестовые наборы, отражая наблюдаемый успех человеческих ML-исследований.

Ключевые выводы предполагают, что будущие исследовательские агенты и дизайны моделей должны включать более сильные ограничения сжатия для повышения надежности и обеспечения того, чтобы приросты производительности переводились на реальные сценарии, а не просто на запоминание бенчмарков.