Trik reparameterisasi adalah apa yang membuat Variational Autoencoders (VAEs) dapat dilatih dengan stochastic gradient descent standar. Ini bekerja dengan memindahkan randomness di luar grafik komputasi dan mengubah gradien ekspektasi yang canggung menjadi turunan rantai biasa. VAE adalah model generatif.

Encoder memetakan data input x ke distribusi atas variabel laten z, sementara decoder memetakan z yang di-sampling kembali ke rekonstruksi x. Yang membuatnya dapat dilatih adalah objektifnya, ELBO (Evidence Lower Bound), yaitu pengganti yang dapat diolah untuk likelihood data sebenarnya, terdiri dari suku rekonstruksi dan suku yang meregularisasi distribusi laten menuju prior sederhana. Melatih VAE melibatkan memaksimalkan ELBO ini menggunakan gradient descent, dan untuk melakukan itu gradien dari sebuah ekspektasi harus dihitung; lebih tepatnya, gradien dari kualitas rekonstruksi yang diharapkan terhadap variabel laten z yang di-sampling secara acak harus dihitung.

Artikel ini berjalan melalui masalah itu, dua keluarga utama estimator gradien yang digunakan untuk menyelesaikannya, dan mengapa gradien pathwise yang diperoleh melalui reparameterisasi cenderung memiliki varians yang jauh lebih rendah daripada alternatifnya. Estimator gradien dengan varians rendah bukan hanya kemewahan teoritis. Dalam praktiknya, ini langsung diterjemahkan menjadi kurva pelatihan yang lebih stabil, lebih sedikit ayunan liar dalam loss, konvergensi lebih cepat, dan model akhir yang lebih baik.

Ini sangat kritis untuk model kompleks seperti VAEs, Bayesian neural networks, dan agen Reinforcement Learning kontrol kontinu, di mana sinyal pelatihan bisa terlalu berisik untuk berguna. Masalahnya: Gradien dari ekspektasi — mengapa sampling merusak backprop. Misalkan kita ingin mengoptimalkan terhadap θ.

Jika θ hanya muncul di dalam f, ini akan menjadi masalah backprop standar. Komplikasinya adalah θ memparameterisasi distribusi dari mana z diambil — proses sampling sendiri bergantung pada θ — jadi kita tidak bisa sekadar mendorong gradien melalui grafik komputasi tetap. Estimasi Monte Carlo dari L(θ) mudah (ambil sampel, rata-rata f(z)), tetapi estimasi Monte Carlo dari θ L(θ) tidak otomatis, karena diferensiasi melalui operasi sampling tidak terdefinisi dengan baik.

Ada dua cara umum keluar dari ini: estimator score function (REINFORCE) dan estimator pathwise / reparameterization. Keduanya unbiased. Mereka berbeda secara drastis dalam varians.

Estimator score function (REINFORCE): fleksibel tetapi varians tinggi. Trik klasik di sini adalah identitas log-derivative: Substitusi ini ke dalam gradien ekspektasi memberikan yang sekarang menjadi ekspektasi lagi, jadi bisa diestimasi dengan sampling z ~ p_θ dan merata-rata f(z)·∂log p_θ(z)/∂θ. Ini adalah estimator di balik REINFORCE dalam reinforcement learning gradien kebijakan, dan benar-benar serbaguna.

Berfungsi untuk z diskrit dan tidak memerlukan reparameterisasi distribusi. Entitas utama: Perusahaan: Towards Data Science. FAQ Q: Apa itu trik reparameterisasi dan mengapa mengurangi varians gradien? FAQ A: Trik reparameterisasi memindahkan randomness di luar grafik komputasi, mengubah gradien ekspektasi menjadi turunan rantai biasa.

Ini memungkinkan gradien pathwise yang memiliki varians jauh lebih rendah dibandingkan estimator score function seperti REINFORCE, menghasilkan pelatihan yang lebih stabil dan konvergensi lebih cepat untuk model seperti VAEs dan agen Reinforcement Learning kontrol kontinu.