El aprendizaje automático busca la generalización, no la memorización, y el sobreajuste ocurre cuando un modelo funciona bien en datos de entrenamiento pero mal en ejemplos no vistos. Las defensas estándar usan conjuntos de validación y prueba reservados, pero revisar y ajustar repetidamente basándose en datos de validación puede hacer que estos se conviertan en parte del proceso de entrenamiento, llevando al sobreajuste. En investigación, los conjuntos de datos de referencia se reutilizan durante años, creando un bucle de ascenso que teóricamente debería sobreajustar, pero el progreso sigue siendo genuino. El misterio se explica con un nuevo estudio sobre agentes de investigación basados en LLM, que muestra que la compresión —preferir modelos más simples que encajan en menos tokens— previene el sobreajuste. Al reiniciar la memoria del agente y controlar el flujo de información, los investigadores demuestran que los agentes mantienen la generalización a pesar de la evaluación repetida en benchmarks, ofreciendo una explicación precisa, basada en la navaja de Occam, de por qué la investigación ML real no colapsa en modelos sobreajustados.

El artículo revela que los agentes que comprimen su conocimiento, es decir, producen explicaciones concisas que caben en presupuestos limitados de tokens, son menos propensos a sobreajustar benchmarks de validación. Esta compresión actúa como un regularizador implícito, alineando la complejidad del modelo con la distribución subyacente de datos. En consecuencia, incluso después de muchas mejoras iterativas en los mismos benchmarks, los agentes continúan generalizando a nuevos conjuntos de prueba, reflejando el éxito observado en la investigación ML dirigida por humanos.

Los hallazgos clave sugieren que futuros agentes de investigación y diseños de modelos deberían incorporar restricciones de compresión más fuertes para mejorar la robustez y asegurar que las ganancias de rendimiento se traduzcan a escenarios del mundo real en lugar de mera memorización de benchmarks.