Telah diamati bahwa pilihan desain jaringan saraf sering menjadi krusial untuk optimisasi yang berhasil. Oleh karena itu, dalam artikel ini, kami mendiskusikan pertanyaan apakah selalu mungkin untuk mendesain ulang jaringan saraf sehingga ia dilatih dengan baik menggunakan gradien descent.
Ini menghasilkan hasil universal berikut: Jika, untuk jaringan tertentu, ada algoritma apa pun yang dapat menemukan bobot jaringan yang baik untuk tugas klasifikasi, maka ada perpanangan dari jaringan ini yang mereproduksi bobot ini dan keluaran maju yang sesuai hanya dengan pelatihan gradien descent.
Konstruksi ini tidak dimaksudkan untuk perhitungan praktis, tetapi memberikan beberapa orientasi tentang kemungkinan pembelajaran meta dan pendekatan terkait.
Riwayat pengiriman Dari: Gerrit Welper [lihat email] [v1]Mon, 27 Jul 2020 16:17:19 UTC (31 KB)
Entitas kunci: Orang: Gerrit Welper
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing