Beberapa keputusan dalam desain jaringan saraf telah menarik banyak revisi seperti pilihan fungsi aktivasi. Di sinilah perbandingan dengan biologi paling literal, menentukan apa artinya bagi neuron buatan untuk menyala. Jawaban awal lebih menyukai kemiripan biologis: Warren Mc Culloch dan Walter Pitts mengusulkan model neuron formal pertama pada 1943, dan perceptron Frank Rosenblatt pada 1957 menambahkan bobot yang dapat disesuaikan. Fungsi sigmoid, dengan kurva halusnya yang jenuh, dianggap mencerminkan penembakan saraf bertingkat, dan plausibilitas biologis berfungsi sebagai prinsip desain dan sumber prestise.
Pada awal 2010-an, Unit Linier Rektifikasi (ReLU) menggantikan sigmoid karena membuat jaringan dalam dapat dilatih di mana sigmoid tidak bisa. Turunan sigmoid menyebabkan gradien menghilang melalui propagasi balik, karena produk dari turunan kecil menyusut dengan setiap lapisan. ReLU memecahkan ini dengan menghindari kejenuhan, memungkinkan pelatihan efektif jaringan yang lebih dalam.
Revolusi ReLU mengungkapkan bahwa fungsi aktivasi tidak pernah menjadi komitmen biologis yang tetap, tetapi hipotesis kerja yang direvisi di bawah tekanan empiris. Pergeseran dari inspirasi biologis ke kinerja pragmatis mempertanyakan seberapa besar bobot yang sebenarnya dibawa biologi dalam desain jaringan saraf.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing