Une tâche courante en apprentissage automatique consiste à estimer ou à optimiser des fonctions « log-sum-exp » avec (potentiellement continûment) de nombreux termes tels que $$ log Big( int_{\mathcal{X}} e^{v(x)} dq(x) Big),$$ où \(v: \mathcal{X} \to \mathbb{R}\) est une certaine fonction de potentiel, et \(q\) est une distribution de probabilité sur l'ensemble \(\mathcal{X}\). Cela a de nombreuses applications tout au long de la science des données, souvent par la normalisation des modèles probabilistes, mais aussi comme une approximation lisse du maximum, dans les transformateurs par leurs dérivées, ou dans l'apprentissage par renforcement lorsqu'on utilise la régularisation d'entropie [19]. Parfois, l'ensemble \(\mathcal{X}\) est fini (potentiellement grand) et l'intégrale peut être effectuée par sommation explicite, mais souvent un calcul exact est irréalisable, et on utilise plutôt l'échantillonnage à partir de la distribution de probabilité \(q\).

La difficulté principale provient de la variance de telles estimations, en particulier lorsque \(v\) prend de grandes valeurs. Dans l'exemple le plus simple, pour \(z_1,\dots,z_n \in \mathbb{R}\) indépendants et suivant une loi normale de moyenne \(\mu\) et de variance \(\sigma^2\), l'erreur au carré relatif pour estimer \(\mathbb{E}[e^z]\) est $$\frac{ {\rm var}\big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big) }{( \mathbb{E}[ e^{z} ])^2} = \frac{1}{n} \frac{ {\rm var}(e^z) }{( \mathbb{E}[ e^{z} ])^2} = \frac{ e^{\sigma^2}-1}{n}.$$ Elle tend vers zéro lorsque \(n\) augmente (comme on peut s'y attendre d'après la loi des grands nombres), mais explose exponentiellement lorsque \(\sigma\) augmente. Même en prenant le logarithme, la variance explosive ne change pas, c'est-à-dire que ${\rm var}\big( \log \big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big)\big)$ peut également être montré pour croître asymptotiquement de manière similaire en \frac{ e^{\sigma^2}-1}{n} (lorsque \(n\) est grand, comme on peut l'obtenir par la méthode delta).

Bien que difficile à estimer, la fonction log-sum-exp possède de nombreuses propriétés agréables (et c'est pourquoi les gens l'aiment) ; j'aime particulièrement le fait que (1) c'est une approximation lisse du maximum (voir, par exemple, ce précédent article), et (2) c'est un moyen de normaliser les modèles probabilistes adapté à l'estimation du maximum de vraisemblance, en particulier dans les modèles probabilistes hiérarchiques, où les hypothèses d'indépendance (conditionnelle) conduisent à la séparabilité des fonctions de perte associées (comme largement utilisé dans les modèles graphiques probabilistes). La principale question que j'essaie de répondre dans cet article est : pouvons-nous conserver les avantages de l'optimisation des fonctions log-sum-exp tout en étant moins exposés à leurs inconvénients computationnels/statistiques ? À l'autre extrémité du spectre se trouve la régression des moindres carrés, avec essentiellement les caractéristiques opposées : du côté positif, nous obtenons une simplicité computationnelle et statistique sous diverses formes, par exemple, elle conduit à une estimation en forme fermée pour les modèles linéaires par l'algèbre linéaire, elle est basée sur le calcul des moments avec une variance fixe et contrôlée, et elle conduit à des analyses précises dans diverses configurations (accélération, descente de gradient stochastique, etc.). Voir, par exemple, cet article sur l'accélération, et celui-ci sur la moyenne.

Du côté négatif, l'utilisation de la régression des moindres carrés pour tous les problèmes de prédiction, particulièrement avec des sorties discrètes, crée certains artefacts. L'exemple traditionnel est la classification avec des données conditionnelles gaussiennes (avec des matrices de covariance identiques), où les moindres carrés sur les sorties encodées en one-hot posent problème, tels que le « masquage » (voir [13, section 2.4] et l'exemple ci-dessous), ou une erreur d'approximation élevée par rapport à l'utilisation de la régression logistique multinomiale (alias régression softmax), parce que alors les logarithmes des probabilités conditionnelles sont affines. Peut-on les réconcilier ? En d'autres termes, la régression des moindres carrés est-elle vraiment tout ce dont j'ai besoin ? (mes collègues se moquent parfois de moi pour mon amour des moindres carrés).

Notez qu'il existe une autre tentative (classique) de voir le monde à travers les moindres carrés : le faire en série par la méthode de Newton, ce qui dans ce contexte mène à des moindres carrés pondérés itérativement, mais cela ne sert qu'au calcul, sans amélioration statistique. Ce que nous visons est plus fort......