Sebuah tugas umum dalam pembelajaran mesin adalah memperkirakan atau mengoptimalkan fungsi “log-sum-exp” dengan (potensialnya terus-menerus) banyak istilah seperti $$ log Big( int_{\mathcal{X}} e^{v(x)} dq(x) Big),$$ di mana \(v: \mathcal{X} \to \mathbb{R}\) adalah suatu fungsi potensial, dan \(q\) adalah distribusi probabilitas pada himpunan \(\mathcal{X}\). Ini memiliki banyak aplikasi sepanjang ilmu data, sering melalui normalisasi model probabilistik, tetapi juga sebagai perataan halus ke maksimum, dalam transformer melalui turunannya, atau dalam pembelajaran penguatan ketika menggunakan regularisasi entropi [19]. Kadang-kala himpunan \(\mathcal{X}\) terbatas (potensialnya besar) dan integral dapat dilakukan dengan penjumlahan eksplisit, tetapi sering kali perhitungan eksak tidak dapat dilakukan, dan alih-alih digunakan sampling dari distribusi probabilitas \(q\).

Kesulitan utama berasal dari variansi dari estimasi seperti ini, terutama ketika \(v\) mengambil nilai-nilai yang besar. Dalam contoh paling sederhana, untuk \(z_1,\dots,z_n \in \mathbb{R}\) yang independen dan berdistribusi normal dengan rata-rata \(\mu\) dan variansi \(\sigma^2\), kesalahan kuadrat relatif untuk memperkirakan \(\mathbb{E}[e^z]\) adalah $$\frac{ {\rm var}\big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big) }{( \mathbb{E}[ e^{z} ])^2} = \frac{1}{n} \frac{ {\rm var}(e^z) }{( \mathbb{E}[ e^{z} ])^2} = \frac{ e^{\sigma^2}-1}{n}.$$ Ia mendekati nol ketika \(n\) bertambah (seperti yang diharapkan dari hukum bilangan besar), tetapi meledak secara eksponensial ketika \(\sigma$ bertambah. Bahkan mengambil logaritma tidak mengubah variansi yang meledak, yaitu ${\rm var}\big( \log \big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big)\big)$ juga dapat ditunjukkan bahwa ia tumbuh secara asymptotik yang serupa dalam \frac{ e^{\sigma^2}-1}{n} (ketika \(n$ besar, seperti yang dapat diperoleh dari metode delta).

Meski sulit untuk diperkirakan, fungsi log-sum-exp datang dengan banyak sifat yang baik (dan itulah mengapa orang-orang menyukainya); saya khususnya menyukai fakta bahwa (1) ini adalah perataan halus ke maksimum (lihat, misalnya, postingan sebelumnya), dan (2) ini adalah cara untuk menormalkan model probabilistik yang disesuaikan dengan estimasi maksimum likelihood, terutama dalam model probabilistik hierarkis, di mana asumsi keindahan (bersyarat) prowadzi ke pemisahan fungsi kerugian yang terkait (seperti yang digunakan luas dalam model grafis probabilistik). Pertanyaan utama yang saya coba jawab dalam postingan ini adalah: Apakah kita bisa mempertahankan kelebihan dari optimasi fungsi log-sum-exp sambil kurang terpapar oleh kelemahan komputasi/statistiknya? Di ujung spektrum yang lain berada regresi kuadrat terkecil, yang secara zasadnya memiliki sifat yang berlawanan: dari sisi positif, kita mendapatkan kesederhanaan komputasi dan statistik dalam berbagai bentuk, contohnya, ia mengarah pada estimasi bentuk tertutup untuk model linear melalui aljabar linear, ia didasarkan pada perhitungan momen dengan variansi yang tetap dan terkontrol, dan ia mengarah pada analisis yang tajam dalam berbagai penyiapan (percepatan, turunan gradien stokastik, dll.). Lihat, misalnya, postingan ini tentang percepatan, dan ini tentang rata-rata.

Dari sisi negatif, penggunaan regresi kuadrat terkecil untuk semua masalah prediksi, khususnya dengan output diskrit, menciptakan beberapa artefak. Contoh tradisional adalah klasifikasi dengan data kondisional gauss (dengan matriks kovarians yang identik), di mana kuadrat terkecil pada output yang dienkode one-hot memiliki masalah, seperti “penyembunyian” (lihat [13, Bagian 2.4] dan contoh di bawah ini), atau kesalahan aproksimasi yang tinggi dibandingkan dengan penggunaan regresi logistik multinomial (yang juga dikenal sebagai regresi softmax), karena maka logaritma probabilitas kondisional adalah affin. Apakah kita bisa menyatukan mereka? Dengan kata lain, apakah regresi kuadrat terkecil benar-benar semua yang saya butuhkan? (rekan-rekan saya terkadang mengejek saya karena kesukaan saya terhadap regresi kuadrat terkecil).

Perhatikan bahwa ada upaya lain (klasik) untuk melihat dunia melalui kuadrat terkecil: melakukan itu secara berurutan melalui metode Newton, yang dalam konteks ini mengarah ke kuadrat terkecil yang diberi bobot secara iteratif, tetapi ini hanya untuk perhitungan, tanpa peningkatan statistik. Apa yang kita tuju adalah lebih kuat......