Una tarea común en el aprendizaje automático es estimar u optimizar funciones “log-sum-exp” con (potencialmente continuamente) muchos términos como $$ log Big( int_{\mathcal{X}} e^{v(x)} dq(x) Big),$$ donde \(v: \mathcal{X} \to \mathbb{R}\) es alguna función de potencial, y \(q\) es una distribución de probabilidad sobre el conjunto \(\mathcal{X}\). Esto tiene muchas aplicaciones a lo largo de la ciencia de datos, a menudo a través de la normalización de modelos probabilísticos, pero también como una aproximación suave al máximo, en transformadores a través de sus derivadas, o en aprendizaje por refuerzo cuando se usa regularización de entropía [19]. A veces el conjunto \(\mathcal{X}\) es finito (potencialmente grande) y la integral se puede hacer mediante suma explícita, pero a menudo un cálculo exacto es inviable, y se utiliza el muestreo de la distribución de probabilidad \(q\) en su lugar.

La dificultad clave proviene de la varianza de tales estimaciones, en particular cuando \(v\) toma valores grandes. En el ejemplo más simple, para \(z_1,\dots,z_n \in \mathbb{R}\) independientes y normalmente distribuidas con media \(\mu\) y varianza \(\sigma^2\), el error cuadrado relativo para estimar \(\mathbb{E}[e^z]\) es $$\frac{ {\rm var}\big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big) }{( \mathbb{E}[ e^{z} ])^2} = \frac{1}{n} \frac{ {\rm var}(e^z) }{( \mathbb{E}[ e^{z} ])^2} = \frac{ e^{\sigma^2}-1}{n}.$$ Converge a cero cuando \(n\) crece (como se espera de la ley de los grandes números), pero explota exponencialmente cuando \(\sigma\) crece. Incluso tomar el logaritmo no cambia la varianza explosiva, es decir, ${\rm var}\big( \log \big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big)\big)$ también puede demostrarse que crece asintóticamente de manera similar en \frac{ e^{\sigma^2}-1}{n} (cuando \(n\) es grande, como se puede obtener del método delta).

Aunque es difícil de estimar, la función log-sum-exp tiene muchas propiedades agradables (y por eso la gente la ama); me gusta particularmente el hecho de que (1) es una aproximación suave al máximo (véase, por ejemplo, esta publicación anterior), y (2) es una forma de normalizar modelos probabilísticos que se adapta a la estimación de máxima verosimilitud, en particular en modelos probabilísticos jerárquicos, donde las suposiciones de independencia (condicional) conducen a la separabilidad de las funciones de pérdida asociadas (como se utiliza ampliamente en modelos gráficos probabilísticos). La principal pregunta que intento responder en esta publicación es: ¿Podemos mantener las ventajas de optimizar funciones log-sum-exp mientras estamos menos expuestos a sus desventajas computacionales/estadísticas? En el otro extremo del espectro se encuentra la regresión de mínimos cuadrados, con características esencialmente opuestas: por el lado positivo, obtenemos simplicidad computacional y estadística en diversas formas, por ejemplo, conduce a una estimación de forma cerrada para modelos lineales mediante álgebra lineal, se basa en el cálculo de momentos con varianza fija y controlada, y conduce a análisis precisos en diversos escenarios (aceleración, descenso de gradiente estocástico, etc.). Véase, por ejemplo, esta publicación sobre aceleración, y esta otra sobre promediado.

Por el lado negativo, usar la regresión de mínimos cuadrados para todos los problemas de predicción, particularmente con salidas discretas, crea algunos artefactos. El ejemplo tradicional es la clasificación con datos condicionales gaussianos (con matrices de covarianza idénticas), donde los mínimos cuadrados en las salidas codificadas en one-hot tienen problemas, como “enmascaramiento” (véase [13, Sección 2.4] y el ejemplo de abajo), o un alto error de aproximación en comparación con el uso de regresión logística multinomial (también conocida como regresión softmax), porque entonces los logaritmos de las probabilidades condicionales son afines. ¿Podemos reconciliarlos? En otras palabras, ¿la regresión de mínimos cuadrados realmente es todo lo que necesito? (mis colegas a veces se burlan de mí por mi amor a los mínimos cuadrados). Tenga en cuenta que hay otro intento (clásico) de ver el mundo a través de los mínimos cuadrados: hacerlo en serie mediante el método de Newton, lo que en este contexto conduce a mínimos cuadrados ponderados iterativamente, pero esto es solo para cálculos, sin mejora estadística.

Lo que estamos buscando es más fuerte......