Peu de décisions dans la conception des réseaux de neurones ont attiré autant de révisions que le choix de la fonction d'activation. C'est là que la comparaison avec la biologie est la plus littérale, décidant ce que signifie pour un neurone artificiel de s'activer. La réponse précoce a favorisé la ressemblance biologique : Warren Mc Culloch et Walter Pitts ont proposé le premier modèle formel de neurone en 1943, et le perceptron de Frank Rosenblatt en 1957 a ajouté des poids ajustables. La fonction sigmoïde, avec sa courbe lisse et saturante, était considérée comme reflétant l'activation neuronale graduée, et la plausibilité biologique servait à la fois de principe de conception et de source de prestige.
Au début des années 2010, l'unité linéaire rectifiée (ReLU) a déplacé la sigmoïde car elle rendait les réseaux profonds entraînables là où la sigmoïde ne le pouvait pas. La dérivée de la sigmoïde fait disparaître les gradients lors de la rétropropagation, car le produit de petites dérivées rétrécit à chaque couche. ReLU a résolu ce problème en évitant la saturation, permettant un entraînement efficace des réseaux plus profonds.
La révolution ReLU a révélé que la fonction d'activation n'a jamais été un engagement biologique fixe, mais une hypothèse de travail révisée sous pression empirique. Le passage de l'inspiration biologique à la performance pragmatique remet en question le poids que la biologie a réellement eu dans la conception des réseaux de neurones.
Source: Towards Data Science · Résumé par HeadlinesBriefing