Poucas decisões no design de redes neurais atraíram tanta revisão quanto a escolha da função de ativação. É onde a comparação com a biologia é mais literal, decidindo o que significa para um neurônio artificial disparar. A resposta inicial favoreceu a semelhança biológica: Warren Mc Culloch e Walter Pitts propuseram o primeiro modelo formal de neurônio em 1943, e o perceptron de Frank Rosenblatt em 1957 adicionou pesos ajustáveis. A função sigmoide, com sua curva suave e saturante, foi considerada um reflexo do disparo neural graduado, e a plausibilidade biológica serviu tanto como princípio de design quanto como fonte de prestígio.
No início da década de 2010, a Unidade Linear Retificada (ReLU) deslocou a sigmoide porque tornou as redes profundas treináveis onde a sigmoide não conseguiu. A derivada da sigmoide faz com que os gradientes desapareçam através da retropropagação, pois o produto de derivadas pequenas encolhe a cada camada. ReLU resolveu isso evitando a saturação, permitindo o treinamento eficaz de redes mais profundas.
A revolução ReLU revelou que a função de ativação nunca foi um compromisso biológico fixo, mas uma hipótese de trabalho revisada sob pressão empírica. A mudança da inspiração biológica para o desempenho pragmático questiona quanto peso a biologia realmente carregou no design de redes neurais.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing