Maschinelles Lernen zielt auf Generalisierung ab, nicht auf Auswendiglernen, und Overfitting tritt auf, wenn ein Modell auf Trainingsdaten gut, aber auf ungesehenen Beispielen schlecht abschneidet. Standardabwehr nutzt zurückgehaltene Validierungs- und Testsets, aber wiederholtes Prüfen und Anpassen basierend auf Validierungsdaten kann diese zum Teil des Trainingsprozesses machen, was zu Overfitting führt. In der Forschung werden Benchmark-Datensätze über Jahre wiederverwendet, was einen Hill-Climbing-Loop erzeugt, der theoretisch overfitten sollte, doch der Fortschritt bleibt echt. Das Rätsel wird durch eine neue Studie zu LLM-basierten Forschungsagenten gelöst, die zeigt, dass Kompression — das Bevorzugen einfacherer Modelle, die in weniger Token passen — Overfitting verhindert. Durch Zurücksetzen des Agenten-Gedächtnisses und Steuerung des Informationsflusses demonstrieren Forscher, dass Agenten trotz wiederholter Benchmark-Evaluation Generalisierung bewahren und bieten eine präzise, auf Occams Rasiermesser basierende Erklärung, warum reale ML-Forschung nicht in überangepasste Modelle kollabiert.

Das Paper offenbart, dass Agenten, die ihr Wissen komprimieren, also knappe Erklärungen erzeugen, die in begrenzte Token-Budgets passen, weniger geneigt sind, Validierungs-Benchmarks zu overfitten. Diese Kompression wirkt als impliziter Regularisierer, der Modellkomplexität mit der zugrundeliegenden Datenverteilung in Einklang bringt. Folglich generalisieren Agenten auch nach vielen iterativen Verbesserungen an denselben Benchmarks weiterhin auf frische Testsets, was den beobachteten Erfolg menschlich getriebener ML-Forschung spiegelt.

Wesentliche Erkenntnisse legen nahe, dass zukünftige Forschungsagenten und Modelldesigns stärkere Kompressionsbeschränkungen einbeziehen sollten, um Robustheit zu erhöhen und sicherzustellen, dass Leistungsgewinne in reale Szenarien übersetzen statt bloß in Benchmark-Auswendiglernen.