A aprendizagem de máquina visa a generalização, não a memorização, e o overfitting ocorre quando um modelo performa bem em dados de treino mas mal em exemplos não vistos. Defesas padrão usam conjuntos de validação e teste reservados, mas verificar e ajustar repetidamente com base em dados de validação pode fazê-los tornar parte do processo de treino, levando ao overfitting. Em pesquisa, datasets de benchmark são reutilizados por anos, criando um loop de hill-climbing que teoricamente deveria overfitar, mas o progresso permanece genuíno. O mistério é explicado por um novo estudo sobre agentes de pesquisa baseados em LLM, mostrando que compressão — preferir modelos mais simples que cabem em menos tokens — previne overfitting. Ao resetar a memória do agente e controlar o fluxo de informação, pesquisadores demonstram que agentes mantêm generalização apesar de avaliação repetida em benchmarks, oferecendo uma explicação precisa, baseada na navalha de Occam, de por que pesquisa ML real não colapsa em modelos overfit.

O artigo revela que agentes que comprimem seu conhecimento, ou seja, produzem explicações concisas que cabem em orçamentos limitados de tokens, são menos propensos a overfitar benchmarks de validação. Esta compressão atua como um regularizador implícito, alinhando complexidade do modelo com a distribuição subjacente dos dados. Consequentemente, mesmo após muitas melhorias iterativas nos mesmos benchmarks, os agentes continuam a generalizar para novos conjuntos de teste, espelhando o sucesso observado da pesquisa ML dirigida por humanos.

Principais descobertas sugerem que futuros agentes de pesquisa e designs de modelos devem incorporar restrições de compressão mais fortes para aumentar robustez e garantir que ganhos de performance se traduzam em cenários do mundo real em vez de mera memorização de benchmarks.