Setelah berbulan-bulan mempelajari neuron dan sirkuit dalam model gambar dan bahasa, penulis menyimpulkan bahwa mekanisme jaringan itu sendiri adalah blok penyusun yang dapat dibaca, dan prospek interpretabilitas mekanistik jauh lebih baik daripada yang sebelumnya dikhawatirkan. Bukti kanonik tentang polisemantisitas dan superposisi, yang meyakinkan sebagian besar bidang ini bahwa jaringan menjejalkan konsep secara sembarangan, telah disalahartikan. Apa yang tampak sebagai penjejalan sembarangan sebagian besar adalah pola yang disebut penulis sebagai generalisasi rekursif, dan itu jauh kurang mengkhawatirkan. Ini berarti peneliti dapat mempelajari jaringan secara langsung, alih-alih harus mengurainya terlebih dahulu.
Ada dua pendekatan utama untuk interpretabilitas mekanistik. Pertama adalah sains normal yang cepat terhadap jaringan itu sendiri: memeriksa neuron dan sirkuit, mengamati aliran data melaluinya, dan menguji penjelasan melalui eksperimen. Kedua dimulai dari daftar fitur hipotetis dan berupaya mengekstraknya, sering kali mengabaikan jaringan asli. Bidang ini dimulai dengan pendekatan pertama tetapi beralih ke pendekatan kedua karena jaringan tampak seperti simpul yang kusut. Neuron polisemantik paling terkenal dalam model gambar merespons wajah kucing sekaligus bagian depan mobil.
Penjelasan utama, superposisi, menyatakan bahwa jaringan melipat konsep yang tidak berkaitan menjadi satu ketika neuronnya kehabisan tempat. Menurut pandangan ini, jaringan harus dibuka terlebih dahulu, biasanya dengan melatih autoenkoder jarang, sebelum apa pun dapat dipelajari. Hasil utama penulis adalah superposisi merupakan penjelasan yang salah untuk Inception V1. Masalah arsitektur membuat lapisan akhir meluap, dan alat interpretasi yang lemah membuatnya tampak tidak koheren. Perbaikan arsitektur yang biasa, tanpa mengubah ukuran model atau data pelatihan, membuat 99 hingga 100 persen neuron di lapisan terakhir mudah diinterpretasikan.
Dengan melatih versi model dalam rentang ukuran 300 kali lipat, penulis mendapati model tersebut secara umum dapat dibaca di setiap skala. Dengan ruang yang lebih sedikit, neuron mencakup konsep yang lebih kasar; dengan ruang yang lebih banyak, mereka terdiferensiasi menjadi konsep spesifik. Masalahnya adalah kegagalan pembelajaran biasa, bukan prinsip pembelajaran kedua, dan itu mudah diperbaiki.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing