L'apprentissage automatique vise la généralisation, pas la mémorisation, et le surapprentissage se produit quand un modèle performe bien sur les données d'entraînement mais mal sur des exemples inédits. Les défenses standards utilisent des ensembles de validation et de test mis de côté, mais vérifier et ajuster répétitivement selon les données de validation peut les faire devenir partie du processus d'entraînement, menant au surapprentissage. En recherche, les jeux de données de référence sont réutilisés pendant des années, créant une boucle d'ascension qui devrait théoriquement surapprendre, pourtant le progrès reste réel. Le mystère est expliqué par une nouvelle étude sur agents de recherche basés sur LLM, montrant que la compression — préférer modèles plus simples tenant en moins de tokens — prévient le surapprentissage. En réinitialisant la mémoire de l'agent et contrôlant le flux d'information, les chercheurs démontrent que les agents maintiennent la généralisation malgré évaluations répétées sur benchmarks, offrant une explication précise, basée sur le rasoir d'Occam, de pourquoi la recherche ML réelle ne s'effondre pas en modèles surappris.

L'article révèle que les agents compressant leur connaissance, c'est-à-dire produisant explications concises tenant dans budgets de tokens limités, sont moins enclins à surapprendre les benchmarks de validation. Cette compression agit comme régularisateur implicite, alignant complexité du modèle avec distribution sous-jacente des données. Par conséquent, même après nombreuses améliorations itératives sur mêmes benchmarks, les agents continuent généraliser vers nouveaux jeux de test, reflétant le succès observé de la recherche ML pilotée par humains.

Les résultats clés suggèrent que futurs agents de recherche et designs de modèles devraient incorporer contraintes de compression plus fortes pour renforcer robustesse et assurer que gains de performance se traduisent en scénarios réels plutôt que simple mémorisation de benchmarks.