Der Reparametrisierungstrick ist das, was Variational Autoencoders (VAEs) mit standardmäßigem stochastischem Gradientenabstieg trainierbar macht. Er funktioniert, indem er die Zufälligkeit außerhalb des Berechnungsgraphen bewegt und einen unhandlichen Gradienten eines Erwartungswerts in eine gewöhnliche Kettenregel-Ableitung verwandelt. Ein VAE ist ein generatives Modell.

Ein Encoder bildet Eingabedaten x auf eine Verteilung über eine latente Variable z ab, während ein Decoder ein gesampeltes z auf eine Rekonstruktion von x abbildet. Was ihn trainierbar macht, ist sein Ziel, die ELBO (Evidence Lower Bound), also ein handhabbarer Ersatz für die wahre Datenwahrscheinlichkeit, bestehend aus einem Rekonstruktionsterm und einem Term, der die latente Verteilung in Richtung einer einfachen A-priori-Verteilung regularisiert. Das Trainieren eines VAE beinhaltet die Maximierung dieser ELBO mittels Gradientenabstieg, und dafür muss der Gradient eines Erwartungswerts berechnet werden; genauer gesagt, muss der Gradient der erwarteten Rekonstruktionsqualität bezüglich der zufällig gesampelten latenten Variablen z berechnet werden.

Dieser Artikel geht diesem Problem nach, den zwei Hauptfamilien von Gradientenschätzern, die zur Lösung eingesetzt werden, und warum die Pfadgradienten, die durch Reparametrisierung erhalten werden, tendenziell eine dramatisch niedrigere Varianz als die Alternative aufweisen. Ein Gradientenschätzer mit niedriger Varianz ist nicht nur eine theoretische Nettigkeit. In der Praxis übersetzt er sich direkt in stabilere Trainingskurven, weniger wilde Schwankungen des Verlusts, schnellere Konvergenz und bessere Endmodelle.

Dies ist besonders kritisch für komplexe Modelle wie VAEs, Bayesianische neuronale Netze und Reinforcement-Learning-Agenten für kontinuierliche Steuerung, wo das Trainingssignal sonst zu verrauscht sein könnte, um nützlich zu sein. Das Problem: Gradienten von Erwartungswerten — warum Sampling die Backpropagation bricht. Wenn wir bezüglich θ optimieren wollen.

Wenn θ nur innerhalb von f erschienen wäre, wäre dies ein Standard-Backprop-Problem. Die Komplikation besteht darin, dass θ die Verteilung parametrisiert, aus der z gezogen wird — der Sampling-Prozess selbst hängt von θ ab — daher können wir den Gradienten nicht einfach durch einen festen Berechnungsgraphen schieben. Monte-Carlo-Schätzungen von L(θ) sind einfach (Stichproben ziehen, f(z) mitteln), aber Monte-Carlo-Schätzungen von θ L(θ) sind nicht automatisch, weil Differenzieren durch eine Sampling-Operation nicht wohl definiert ist.

Es gibt zwei allgemeine Wege heraus: den Score-Function-Schätzer (REINFORCE) und den Pfad-/Reparametrisierungs-Schätzer. Beide sind erwartungstreu. Sie unterscheiden sich enorm in der Varianz.

Der Score-Function-Schätzer (REINFORCE): flexibel aber hohe Varianz. Der klassische Trick hier ist die Log-Derivative-Identität: Eingesetzt in den Gradienten des Erwartungswerts ergibt sich was jetzt wieder ein Erwartungswert ist, also kann er geschätzt werden durch Sampling von z ~ p_θ und Mitteln von f(z)·∂log p_θ(z)/∂θ. Dies ist der Schätzer hinter REINFORCE im Policy-Gradient-Reinforcement-Learning, und er ist wirklich vielseitig.

Er funktioniert für diskretes z und erfordert keine Reparametrisierung der Verteilung. Hauptentitäten: Unternehmen: Towards Data Science. FAQ F: Was ist der Reparametrisierungstrick und warum reduziert er die Gradientenvarianz? FAQ A: Der Reparametrisierungstrick bewegt die Zufälligkeit außerhalb des Berechnungsgraphen und wandelt einen Gradienten eines Erwartungswerts in eine gewöhnliche Kettenregel-Ableitung um.

Dies ermöglicht Pfadgradienten mit dramatisch niedrigerer Varianz im Vergleich zu Score-Function-Schätzern wie REINFORCE, was zu stabilerem Training und schnellerer Konvergenz für Modelle wie VAEs und Reinforcement-Learning-Agenten für kontinuierliche Steuerung führt.