Eine häufige Aufgabe im Maschinellen Lernen besteht darin, „log-sum-exp“-Funktionen mit (potenziell kontinuierlich) vielen Termen zu schätzen oder zu optimieren, wie $$ log Big( int_{\mathcal{X}} e^{v(x)} dq(x) Big),$$ wobei \(v: \mathcal{X} \to \mathbb{R}\) eine potenzielle Funktion ist und \(q\) eine Wahrscheinlichkeitsverteilung auf der Menge \(\mathcal{X}\) ist. Dies hat zahlreiche Anwendungen in der Datenwissenschaft, oft durch die Normalisierung probabilistischer Modelle, aber auch als glatte Approximation des Maximums, in Transformern über ihre Ableitungen, oder im Verstärkungslernen bei Verwendung von Entropieregularisierung [19]. Manchmal ist die Menge \(\mathcal{X}\) endlich (potenziell groß) und das Integral kann durch explizite Summation berechnet werden, aber oft ist eine genaue Berechnung nicht durchführbar, und stattdessen wird Stichprobenziehung aus der Wahrscheinlichkeitsverteilung \(q\) verwendet.

Die Hauptschwierigkeit ergibt sich aus der Varianz solcher Schätzungen, insbesondere wenn \(v\) große Werte annimmt. Im einfachsten Fall, für unabhängige normalverteilte \(z_1,\dots,z_n \in \mathbb{R}\) mit Mittelwert \(\mu\) und Varianz \(\sigma^2\), beträgt der relative quadratische Fehler bei der Schätzung von \(\mathbb{E}[e^z]\) $$\frac{ {\rm var}\big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big) }{( \mathbb{E}[ e^{z} ])^2} = \frac{1}{n} \frac{ {\rm var}(e^z) }{( \mathbb{E}[ e^{z} ])^2} = \frac{ e^{\sigma^2}-1}{n}.$$ Er konvergiert gegen null, wenn \(n\) wächst (wie erwartet vom Gesetz der großen Zahlen), aber explodiert exponentiell, wenn \(\sigma\) wächst. Selbst das Logarithmieren ändert die explodierende Varianz nicht, d.h., ${\rm var}\big( \log \big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big)\big)$ kann ebenfalls gezeigt werden, dass sie asymptotisch ähnlich wie \frac{ e^{\sigma^2}-1}{n} wächst (bei großem \(n\), wie aus der Delta-Methode gewonnen).

Obwohl schwierig zu schätzen, besitzt die log-sum-exp-Funktion viele agréable Eigenschaften (weshalb sie beliebt ist); mir gefällt insbesondere, dass (1) sie eine glatte Approximation des Maximums ist (siehe beispielsweise diesen früheren Beitrag), und (2) sie eine Methode zur Normalisierung probabilistischer Modelle ist, die an die Maximum-Likelihood-Schätzung angepasst ist, insbesondere in hierarchischen probabilistischen Modellen, wo (bedingte) Unabhängigkeitsannahmen zur Separierbarkeit der zugehörigen Verlustfunktionen führen (wie umfassend in probabilistischen graphischen Modellen verwendet). Die Hauptfrage, die ich in diesem Beitrag zu beantworten versuche, lautet: Können wir die Vorteile der Optimierung von log-sum-exp-Funktionen behalten, während wir ihrer rechnerischen/statistischen Nachteile weniger ausgesetzt sind? Am anderen Ende des Spektrums steht die kleinste-Quadrate-Regression, die grundsätzlich entgegengesetzte Eigenschaften aufweist: Auf der positiven Seite erhalten wir rechnerische und statistische Einfachheit in verschiedenen Formen, beispielsweise führt sie zu einer abgeschlossenen Form der Schätzung für lineare Modelle mittels linearer Algebra, sie basiert auf der Berechnung von Momenten mit fester kontrollierter Varianz, und sie führt zu präzisen Analysen in verschiedenen Szenarien (Beschleunigung, stochastischer Gradientenabstieg usw.). Siehe beispielsweise diesen Beitrag über Beschleunigung und diesen über Mittelwerte.

Auf der negativen Seite führt die Anwendung der kleinsten-Quadrate-Regression auf alle Vorhersageprobleme, insbesondere bei diskreten Ausgaben, zu einigen Artefakten. Das traditionelle Beispiel ist die Klassifikation mit gaußschen Klassenbedingungsdaten (mit identischen Kovarianzmatrizen), wobei die kleinste-Quadrate-Regression auf one-hot-kodierten Ausgaben Probleme wie „Maskierung“ (siehe [13, Abschnitt 2.4] und das Beispiel unten) verursacht oder eine höhere Approximationsfehler im Vergleich zur Verwendung der multinomialen logistischen Regression (auch bekannt als Softmax-Regression) aufweist, da dann die Logarithmen der bedingten Wahrscheinlichkeiten affin sind. Können wir sie vereinbaren? Mit anderen Worten, ist die kleinste-Quadrate-Regression wirklich alles, was ich brauche? (Meine Kollegen machen sich manchmal über meine Liebe zur kleinsten-Quadrate-Regression lustig).

Beachten Sie, dass es noch einen weiteren (klassischen) Versuch gibt, die Welt durch kleinste Quadrate zu sehen: sie in Reihe durch das Newton-Verfahren zu tun, was in diesem Kontext zu iterativ gewichteten kleinsten Quadraten führt, aber dies ist nur für Berechnungen, ohne statistische Verbesserung. Was wir anstreben, ist stärker......