神经网络设计中很少有决策像激活函数的选择那样经历了如此多的修订。这是与生物学最直接的比较点，决定了人工神经元如何触发。早期的答案倾向于生物相似性：Warren Mc Culloch和Walter Pitts在1943年提出了第一个正式的神经元模型，Frank Rosenblatt在1957年的感知机增加了可调权重。sigmoid函数以其平滑的饱和曲线被认为反映了分级神经触发，生物合理性既是设计原则也是声望来源。
在2010年代早期，整流线性单元（ReLU）取代了sigmoid，因为它使深度网络变得可训练，而sigmoid无法做到。sigmoid的导数导致梯度在反向传播中消失，因为小导数的乘积随着每一层而缩小。ReLU通过避免饱和解决了这个问题，实现了更深网络的有效训练。
ReLU革命揭示了激活函数从来不是固定的生物学承诺，而是在经验压力下修订的工作假设。从生物灵感到实用性能的转变质疑了生物学在神经网络设计中究竟有多大的分量。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要