Uma tarefa comum em aprendizado de máquina é estimar ou otimizar funções “log-sum-exp” com (potencialmente continuamente) muitos termos como $$ log Big( int_{\mathcal{X}} e^{v(x)} dq(x) Big),$$ onde \(v: \mathcal{X} \to \mathbb{R}\) é alguma função de potencial, e \(q\) é uma distribuição de probabilidade sobre o conjunto \(\mathcal{X}\). Isso tem muitas aplicações ao longo da ciência de dados, frequentemente através da normalização de modelos probabilísticos, mas também como uma aproximação suave do máximo, em transformadores através de suas derivadas, ou em aprendizado por reforço quando se usa regularização de entropia [19]. Às vezes o conjunto \(\mathcal{X}\) é finito (potencialmente grande) e a integral pode ser feita por soma explícita, mas frequentemente um cálculo exato é inviável, e amostragem da distribuição de probabilidade \(q\) é usada em vez disso. A dificuldade principal vem da variância dessas estimativas, particularmente quando \(v\) assume valores grandes.

No exemplo mais simples, para \(z_1,\dots,z_n \in \mathbb{R}\) independentes e normalmente distribuídos com média \(\mu\) e variância \(\sigma^2\), o erro quadrado relativo para estimar \(\mathbb{E}[e^z]\) é $$\frac{ {\rm var}\big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big) }{( \mathbb{E}[ e^{z} ])^2} = \frac{1}{n} \frac{ {\rm var}(e^z) }{( \mathbb{E}[ e^{z} ])^2} = \frac{ e^{\sigma^2}-1}{n}.$$ Ela converge para zero quando \(n\) cresce (como esperado pela lei dos grandes números), mas explode exponencialmente quando \(\sigma\) cresce. Mesmo tomando o logaritmo, a variância explosiva não muda, ou seja, ${\rm var}\big( \log \big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big)\big)$ também pode ser mostrado para crescer assintoticamente de maneira semelhante em \frac{ e^{\sigma^2}-1}{n} (quando \(n\) é grande, como pode ser obtido pelo método delta). Embora difícil de estimar, a função log-sum-exp vem com muitas propriedades agradáveis (e é por isso que as pessoas a amam); eu particularmente gosto do fato de que (1) ela é uma aproximação suave do máximo (veja, por exemplo, este post anterior), e (2) ela é uma maneira de normalizar modelos probabilísticos que é adaptada à estimativa de máxima verossimilhança, particularmente em modelos probabilísticos hierárquicos, onde as hipóteses de independência (condicional) levam à separabilidade das funções de perda associadas (como amplamente utilizado em modelos gráficos probabilísticos).

A principal questão que tento responder neste post é: podemos manter as vantagens da otimização de funções log-sum-exp enquanto estamos menos expostos às suas desvantagens computacionais/estatísticas? No outro extremo do espectro está a regressão de mínimos quadrados, com características essencialmente opostas: do lado positivo, obtemos simplicidade computacional e estatística em várias formas, por exemplo, leva a uma estimativa em forma fechada para modelos lineares através da álgebra linear, ela é baseada no cálculo de momentos com variância fixa e controlada, e leva a análises precisas em diversos cenários (aceleração, descida de gradiente estocástico, etc.). Veja, por exemplo, este post sobre aceleração, e este sobre média. Do lado negativo, usar a regressão de mínimos quadrados para todos os problemas de previsão, particularmente com saídas discretas, cria alguns artefatos.

O exemplo tradicional é a classificação com dados condicionais gaussianos (com matrizes de covariância idênticas), onde os mínimos quadrados nas saídas codificadas one-hot têm problemas, como “máscara” (veja [13, Seção 2.4] e o exemplo abaixo), ou um alto erro de aproximação em comparação com o uso da regressão logística multinomial (também conhecida como regressão softmax), porque então os logaritmos das probabilidades condicionais são afins. Podemos reconciliá-los? Em outras palavras, a regressão de mínimos quadrados realmente é tudo o que eu preciso? (meus colegas às vezes zombam do meu amor pelos mínimos quadrados). Observe que há outra tentativa (clássica) de ver o mundo através dos mínimos quadrados: fazê-lo em série através do método de Newton, levando neste contexto a mínimos quadrados ponderados iterativamente, mas isso é apenas para computação, sem melhoria estatística.

O que estamos buscando é mais forte......