Kami memperkenalkan PC-ALM, alternatif lokal untuk backpropagation. PC-ALM melatih MLP residual hingga 1000 lapisan, hampir menyamai kinerja backprop meskipun hanya menggunakan dinamika lokal lapisan. PC-ALM melengkapi setiap lapisan dengan sistem dinamika kontrol umpan balik yang mendistribusikan dan menyebarkan kredit supervisi ke seluruh jaringan.

Pembelajaran mendalam standar bergantung pada backpropagation. Namun, otak tidak dapat mengimplementasikan backpropagation secara tepat. Salah satu alasannya adalah "penguncian fase": backprop berjalan dalam tiga fase ketat—maju, mundur, pembaruan bobot—yang mengharuskan neuron menahan aktivasi dan menunggu sinyal kesalahan. Otak tidak memiliki mekanisme yang diketahui untuk koordinasi waktu yang begitu ketat.

PC-ALM menggantikan lintasan maju dan mundur dengan sistem dinamika lokal lapisan. Setiap lapisan hanya terhubung ke tetangganya. Ketika dijalankan hingga konvergensi, dinamika mendistribusikan kredit supervisi dengan cepat dan akurat. PC-ALM memperluas pengkodean prediktif standar (PC) dengan memperkenalkan neuron ganda (pengganda Lagrange) per lapisan, menjadikan rekurensi lokal setiap lapisan sebagai pengontrol umpan balik PI. Dalam jaringan linear, neuron ganda konvergen ke sinyal kredit backprop yang tepat meskipun hanya menggunakan komputasi lokal.

Kami membandingkan PC-ALM dengan PC dan backprop. PC-ALM berhasil menyebarkan kredit supervisi dalam jaringan 1000 lapisan, mengatasi peluruhan sinyal PC sambil tetap lokal lapisan. Ini dapat menginformasikan pembelajaran mendalam yang hemat energi pada perangkat keras neuromorfik.

Entitas Kunci: Perusahaan: Sakana AI | Orang: Rao, Ballard, Helmholtz