La fonction sigmoïde, σ(x) = 1 / (1 + e^-x), est une pierre angulaire de la régression logistique et des réseaux de neurones, mappant toute valeur réelle à une plage entre 0 et 1. Cette transformation permet d'interpréter les sorties comme des probabilités, comme prédire si un étudiant réussit ou échoue en fonction des heures d'étude. Cependant, la véritable origine de la fonction réside dans la constante mathématique 'e', environ 2,71828, qui émerge naturellement des intérêts composés continus.

Considérez une banque offrant un taux d'intérêt annuel de 100 % : avec une composition annuelle, 100 $ passent à 200 $. Si la composition est semestrielle, le montant devient 225 $, et à mesure que la fréquence de composition augmente à l'infini, le facteur de croissance se rapproche de 'e'. Cette limite définit la croissance exponentielle, et la fonction sigmoïde est essentiellement une version lissée de ce comportement exponentiel, ce qui la rend idéale pour l'activation dans les réseaux de neurones.

Comprendre cette dérivation clarifie pourquoi la sigmoïde est utilisée et met en évidence son rôle dans l'atténuation des gradients qui disparaissent, un défi courant dans l'apprentissage profond.