Modelos de aprendizado de máquina costumam ser descritos pelo número de parâmetros treináveis, mas essa cifra pode ser enganosa. Um modelo pode conter muitos parâmetros que não criam formas genuinamente independentes de influenciar sua saída, enquanto um modelo compacto pode usar quase todos os seus parâmetros de maneira distinta e significativa. A dimensão efetiva é uma forma de quantificar essa diferença.
Considere dois modelos com parâmetros θ1 e θ2. No primeiro, os parâmetros afetam a saída de forma independente, de modo que o modelo pode variar em duas direções independentes. No segundo, a saída depende apenas da soma deles, de modo que muitos pares de parâmetros produzem exatamente a mesma função. Embora o modelo formalmente tenha dois parâmetros, ele possui apenas um grau de liberdade. Isso ilustra a ideia central: a contagem de parâmetros não representa necessariamente a complexidade funcional.
A dimensão efetiva é uma medida de complexidade informacional dependente da escala, originalmente desenvolvida na teoria estatística da informação para contar os parâmetros realmente ativos de um modelo com base no tamanho dos dados disponíveis. Desde então, foi adotada no aprendizado de máquina clássico e quântico para avaliar a expressividade, a treinabilidade e a capacidade de generalização de um modelo. Diferentemente da acurácia, da perda ou da contagem bruta de parâmetros, ela pergunta quantas direções de parâmetros distinguíveis um modelo possui em uma região de parâmetros e uma distribuição de dados escolhidas.
De forma importante, a dimensão efetiva está relacionada à generalização. Sob as premissas do arcabouço, ela pode fornecer um limite de desempenho de generalização dependente da complexidade. Esta é a primeira parte de uma série em duas partes; a segunda mostrará como implementar os cálculos de dimensão efetiva em experimentos de aprendizado de máquina.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing