What the ReLU Revolution Revealed About Biological Plausibility

Few decisions in neural network design have attracted as much revision as the choice of activation function. It is where the comparison with biology is most literal, deciding what it means for an artificial neuron to fire. The early answer favored biological resemblance: Warren Mc Culloch and Walter Pitts proposed the first formal neuron model in 1943, and Frank Rosenblatt's perceptron in 1957 added adjustable weights. The sigmoid function, with its smooth, saturating curve, was taken to mirror graded neural firing, and biological plausibility served as both a design principle and a source of prestige.

In the early 2010s, the Rectified Linear Unit (ReLU) displaced the sigmoid because it made deep networks trainable where the sigmoid had not. The sigmoid's derivative causes gradients to vanish through backpropagation, as the product of small derivatives shrinks with each layer. ReLU solved this by avoiding saturation, enabling effective training of deeper networks.

The ReLU revolution revealed that the activation function was never a fixed biological commitment but a working hypothesis revised under empirical pressure. The shift from biological inspiration to pragmatic performance calls into question how much weight biology ever carried in neural network design.

قلة من القرارات في تصميم الشبكات العصبية جذبت قدرًا كبيرًا من المراجعة مثل اختيار دالة التنشيط. إنها النقطة التي تكون فيها المقارنة مع علم الأحياء أكثر حرفية، حيث تحدد ما يعنيه أن تشتعل خلية عصبية اصطناعية. فضلت الإجابة المبكرة التشابه البيولوجي: اقترح Warren Mc Culloch و Walter Pitts أول نموذج عصبي رسمي في 1943، وأضافت بيرسيبترون Frank Rosenblatt في 1957 أوزانًا قابلة للتعديل. اعتُبرت دالة السيجمويد، بمنحناها الناعم المشبع، تعكس الإطلاق العصبي المتدرج، وخدمت المعقولية البيولوجية كمبدأ تصميم ومصدر هيبة.

في أوائل العقد الأول من القرن الحادي والعشرين، حلت الوحدة الخطية المصححة (ReLU) محل السيجمويد لأنها جعلت الشبكات العميقة قابلة للتدريب حيث لم تستطع السيجمويد. يتسبب مشتق السيجمويد في تلاشي التدرجات عبر الانتشار العكسي، حيث يتقلص ناتج المشتقات الصغيرة مع كل طبقة. حلت ReLU هذا بتجنب التشبع، مما مكن من التدريب الفعال للشبكات الأعمق.

كشفت ثورة ReLU أن دالة التنشيط لم تكن أبدًا التزامًا بيولوجيًا ثابتًا، بل فرضية عمل تمت مراجعتها تحت ضغط تجريبي. يثير التحول من الإلهام البيولوجي إلى الأداء العملي تساؤلات حول مقدار الوزن الذي حمله علم الأحياء في تصميم الشبكات العصبية.

নিউরাল নেটওয়ার্ক ডিজাইনে খুব কম সিদ্ধান্তই অ্যাক্টিভেশন ফাংশনের পছন্দের মতো এত সংশোধন আকর্ষণ করেছে। এটি সেই জায়গা যেখানে জীববিজ্ঞানের সাথে তুলনা সবচেয়ে আক্ষরিক, সিদ্ধান্ত নেয় যে একটি কৃত্রিম নিউরনের ফায়ার করার অর্থ কী। প্রাথমিক উত্তর জৈবিক সাদৃশ্যের পক্ষে ছিল: Warren Mc Culloch এবং Walter Pitts 1943 সালে প্রথম আনুষ্ঠানিক নিউরন মডেল প্রস্তাব করেছিলেন, এবং Frank Rosenblatt-এর 1957 সালে পারসেপ্ট্রন সামঞ্জস্যযোগ্য ওজন যোগ করেছিল। সিগময়েড ফাংশন, তার মসৃণ, সম্পৃক্ত বক্ররেখা সহ, গ্রেডেড নিউরাল ফায়ারিং প্রতিফলিত করে বলে ধরা হয়েছিল, এবং জৈবিক যুক্তিযুক্ততা নকশা নীতি এবং প্রতিপত্তির উভয় উৎস হিসাবে কাজ করেছিল।

২০১০-এর দশকের শুরুতে, রেকটিফায়েড লিনিয়ার ইউনিট (ReLU) সিগময়েডকে স্থানচ্যুত করেছিল কারণ এটি গভীর নেটওয়ার্কগুলিকে প্রশিক্ষণযোগ্য করে তুলেছিল যেখানে সিগময়েড পারেনি। সিগময়েডের ডেরিভেটিভ ব্যাকপ্রোপাগেশনের মাধ্যমে গ্রেডিয়েন্টগুলিকে লোপ পেতে বাধ্য করে, কারণ ছোট ডেরিভেটিভের গুণফল প্রতিটি স্তরের সাথে সঙ্কুচিত হয়। ReLU সম্পৃক্তি এড়িয়ে এটি সমাধান করেছে, গভীরতর নেটওয়ার্কগুলির কার্যকর প্রশিক্ষণ সক্ষম করেছে।

ReLU বিপ্লব প্রকাশ করেছে যে অ্যাক্টিভেশন ফাংশন কখনই একটি নির্দিষ্ট জৈবিক প্রতিশ্রুতি ছিল না, বরং একটি কার্যকরী অনুমান যা অভিজ্ঞতামূলক চাপে সংশোধিত হয়েছিল। জৈবিক অনুপ্রেরণা থেকে বাস্তবসম্মত কর্মক্ষমতায় স্থানান্তর প্রশ্ন উত্থাপন করে যে নিউরাল নেটওয়ার্ক ডিজাইনে জীববিজ্ঞান কতটা ওজন বহন করেছিল।

Nur wenige Entscheidungen im Design neuronaler Netze haben so viele Überarbeitungen angezogen wie die Wahl der Aktivierungsfunktion. Es ist der Punkt, an dem der Vergleich mit der Biologie am wörtlichsten ist und entscheidet, was es bedeutet, dass ein künstliches Neuron feuert. Die frühe Antwort begünstigte die biologische Ähnlichkeit: Warren Mc Culloch und Walter Pitts schlugen 1943 das erste formale Neuronmodell vor, und Frank Rosenblatts Perzeptron fügte 1957 anpassbare Gewichte hinzu. Die Sigmoidfunktion mit ihrer glatten, sättigenden Kurve wurde als Spiegelung des abgestuften neuronalen Feuerns angesehen, und biologische Plausibilität diente sowohl als Designprinzip als auch als Prestigequelle.

In den frühen 2010er Jahren verdrängte die Rectified Linear Unit (ReLU) das Sigmoid, weil sie tiefe Netzwerke trainierbar machte, wo das Sigmoid es nicht konnte. Die Ableitung des Sigmoids führt dazu, dass Gradienten durch Rückpropagation verschwinden, da das Produkt kleiner Ableitungen mit jeder Schicht schrumpft. ReLU löste dies, indem es Sättigung vermied und so ein effektives Training tieferer Netzwerke ermöglichte.

Die ReLU-Revolution zeigte, dass die Aktivierungsfunktion nie eine feste biologische Verpflichtung war, sondern eine Arbeitshypothese, die unter empirischem Druck überarbeitet wurde. Der Wechsel von biologischer Inspiration zu pragmatischer Leistung stellt in Frage, wie viel Gewicht die Biologie im Design neuronaler Netze tatsächlich hatte.

Pocas decisiones en el diseño de redes neuronales han atraído tanta revisión como la elección de la función de activación. Es donde la comparación con la biología es más literal, decidiendo qué significa que una neurona artificial se dispare. La respuesta temprana favoreció la semejanza biológica: Warren Mc Culloch y Walter Pitts propusieron el primer modelo formal de neurona en 1943, y el perceptrón de Frank Rosenblatt en 1957 agregó pesos ajustables. La función sigmoide, con su curva suave y saturante, se consideró un reflejo del disparo neuronal graduado, y la plausibilidad biológica sirvió tanto como principio de diseño como fuente de prestigio.

A principios de la década de 2010, la Unidad Lineal Rectificada (ReLU) desplazó a la sigmoide porque hizo entrenables las redes profundas donde la sigmoide no pudo. La derivada de la sigmoide causa que los gradientes se desvanezcan a través de la retropropagación, ya que el producto de derivadas pequeñas se reduce con cada capa. ReLU resolvió esto evitando la saturación, permitiendo el entrenamiento efectivo de redes más profundas.

La revolución ReLU reveló que la función de activación nunca fue un compromiso biológico fijo, sino una hipótesis de trabajo revisada bajo presión empírica. El cambio de la inspiración biológica al rendimiento pragmático cuestiona cuánto peso tuvo realmente la biología en el diseño de redes neuronales.

Peu de décisions dans la conception des réseaux de neurones ont attiré autant de révisions que le choix de la fonction d'activation. C'est là que la comparaison avec la biologie est la plus littérale, décidant ce que signifie pour un neurone artificiel de s'activer. La réponse précoce a favorisé la ressemblance biologique : Warren Mc Culloch et Walter Pitts ont proposé le premier modèle formel de neurone en 1943, et le perceptron de Frank Rosenblatt en 1957 a ajouté des poids ajustables. La fonction sigmoïde, avec sa courbe lisse et saturante, était considérée comme reflétant l'activation neuronale graduée, et la plausibilité biologique servait à la fois de principe de conception et de source de prestige.

Au début des années 2010, l'unité linéaire rectifiée (ReLU) a déplacé la sigmoïde car elle rendait les réseaux profonds entraînables là où la sigmoïde ne le pouvait pas. La dérivée de la sigmoïde fait disparaître les gradients lors de la rétropropagation, car le produit de petites dérivées rétrécit à chaque couche. ReLU a résolu ce problème en évitant la saturation, permettant un entraînement efficace des réseaux plus profonds.

La révolution ReLU a révélé que la fonction d'activation n'a jamais été un engagement biologique fixe, mais une hypothèse de travail révisée sous pression empirique. Le passage de l'inspiration biologique à la performance pragmatique remet en question le poids que la biologie a réellement eu dans la conception des réseaux de neurones.

तंत्रिका नेटवर्क डिजाइन में कुछ ही निर्णयों ने सक्रियण फलन के चयन जितना संशोधन आकर्षित किया है। यह वह जगह है जहां जीव विज्ञान के साथ तुलना सबसे शाब्दिक है, यह तय करती है कि कृत्रिम न्यूरॉन के फायर करने का क्या अर्थ है। प्रारंभिक उत्तर ने जैविक समानता का पक्ष लिया: Warren Mc Culloch और Walter Pitts ने 1943 में पहला औपचारिक न्यूरॉन मॉडल प्रस्तावित किया, और Frank Rosenblatt के 1957 में पर्सेप्ट्रॉन ने समायोज्य भार जोड़े। सिग्मॉइड फलन, अपने चिकने, संतृप्त वक्र के साथ, क्रमिक तंत्रिका फायरिंग को प्रतिबिंबित करने वाला माना गया, और जैविक प्रशंसनीयता डिजाइन सिद्धांत और प्रतिष्ठा दोनों के स्रोत के रूप में कार्य करती थी।

2010 के दशक की शुरुआत में, रेक्टिफाइड लीनियर यूनिट (ReLU) ने सिग्मॉइड को विस्थापित कर दिया क्योंकि इसने गहरे नेटवर्क को प्रशिक्षित करने योग्य बना दिया जहां सिग्मॉइड नहीं कर सका। सिग्मॉइड का व्युत्पन्न बैकप्रोपेगेशन के माध्यम से ग्रेडिएंट को लुप्त करने का कारण बनता है, क्योंकि छोटे व्युत्पन्नों का गुणनफल प्रत्येक परत के साथ सिकुड़ता है। ReLU ने संतृप्ति से बचकर इसे हल किया, गहरे नेटवर्क के प्रभावी प्रशिक्षण को सक्षम बनाया।

ReLU क्रांति ने खुलासा किया कि सक्रियण फलन कभी एक निश्चित जैविक प्रतिबद्धता नहीं था, बल्कि अनुभवजन्य दबाव में संशोधित एक कार्य परिकल्पना थी। जैविक प्रेरणा से व्यावहारिक प्रदर्शन की ओर बदलाव इस सवाल को उठाता है कि तंत्रिका नेटवर्क डिजाइन में जीव विज्ञान ने कितना भार वहन किया।

Beberapa keputusan dalam desain jaringan saraf telah menarik banyak revisi seperti pilihan fungsi aktivasi. Di sinilah perbandingan dengan biologi paling literal, menentukan apa artinya bagi neuron buatan untuk menyala. Jawaban awal lebih menyukai kemiripan biologis: Warren Mc Culloch dan Walter Pitts mengusulkan model neuron formal pertama pada 1943, dan perceptron Frank Rosenblatt pada 1957 menambahkan bobot yang dapat disesuaikan. Fungsi sigmoid, dengan kurva halusnya yang jenuh, dianggap mencerminkan penembakan saraf bertingkat, dan plausibilitas biologis berfungsi sebagai prinsip desain dan sumber prestise.

Pada awal 2010-an, Unit Linier Rektifikasi (ReLU) menggantikan sigmoid karena membuat jaringan dalam dapat dilatih di mana sigmoid tidak bisa. Turunan sigmoid menyebabkan gradien menghilang melalui propagasi balik, karena produk dari turunan kecil menyusut dengan setiap lapisan. ReLU memecahkan ini dengan menghindari kejenuhan, memungkinkan pelatihan efektif jaringan yang lebih dalam.

Revolusi ReLU mengungkapkan bahwa fungsi aktivasi tidak pernah menjadi komitmen biologis yang tetap, tetapi hipotesis kerja yang direvisi di bawah tekanan empiris. Pergeseran dari inspirasi biologis ke kinerja pragmatis mempertanyakan seberapa besar bobot yang sebenarnya dibawa biologi dalam desain jaringan saraf.

ニューラルネットワーク設計において、活性化関数の選択ほど多くの修正を引き付けた決定はほとんどありません。それは生物学との比較が最も文字通りに行われる場所であり、人工ニューロンが発火する意味を決定します。初期の答えは生物学的類似性を支持しました：Warren Mc CullochとWalter Pittsは1943年に最初の形式的なニューロンモデルを提案し、Frank Rosenblattの1957年のパーセプトロンは調整可能な重みを追加しました。滑らかで飽和する曲線を持つシグモイド関数は、段階的なニューロン発火を反映すると見なされ、生物学的妥当性は設計原理と名声の両方の源として機能しました。

2010年代の初めに、整流線形ユニット（ReLU）がシグモイドに取って代わりました。なぜなら、シグモイドができなかった深層ネットワークを訓練可能にしたからです。シグモイドの導関数は、逆伝播を通じて勾配を消失させます。小さな導関数の積が層ごとに縮小するからです。ReLUは飽和を避けることでこれを解決し、より深いネットワークの効果的な訓練を可能にしました。

ReLU革命は、活性化関数が決して固定された生物学的コミットメントではなく、経験的圧力の下で修正される作業仮説であることを明らかにしました。生物学的インスピレーションから実用的パフォーマンスへの移行は、ニューラルネットワーク設計において生物学がどれだけの重みを持っていたかに疑問を投げかけます。

Poucas decisões no design de redes neurais atraíram tanta revisão quanto a escolha da função de ativação. É onde a comparação com a biologia é mais literal, decidindo o que significa para um neurônio artificial disparar. A resposta inicial favoreceu a semelhança biológica: Warren Mc Culloch e Walter Pitts propuseram o primeiro modelo formal de neurônio em 1943, e o perceptron de Frank Rosenblatt em 1957 adicionou pesos ajustáveis. A função sigmoide, com sua curva suave e saturante, foi considerada um reflexo do disparo neural graduado, e a plausibilidade biológica serviu tanto como princípio de design quanto como fonte de prestígio.

No início da década de 2010, a Unidade Linear Retificada (ReLU) deslocou a sigmoide porque tornou as redes profundas treináveis onde a sigmoide não conseguiu. A derivada da sigmoide faz com que os gradientes desapareçam através da retropropagação, pois o produto de derivadas pequenas encolhe a cada camada. ReLU resolveu isso evitando a saturação, permitindo o treinamento eficaz de redes mais profundas.

A revolução ReLU revelou que a função de ativação nunca foi um compromisso biológico fixo, mas uma hipótese de trabalho revisada sob pressão empírica. A mudança da inspiração biológica para o desempenho pragmático questiona quanto peso a biologia realmente carregou no design de redes neurais.

Немногие решения в проектировании нейронных сетей привлекли столько пересмотров, как выбор функции активации. Это то место, где сравнение с биологией наиболее буквально, определяя, что означает для искусственного нейрона срабатывать. Ранний ответ отдавал предпочтение биологическому сходству: Warren Mc Culloch и Walter Pitts предложили первую формальную модель нейрона в 1943 году, а перцептрон Frank Rosenblatt в 1957 году добавил регулируемые веса. Сигмоидальная функция с ее гладкой насыщающейся кривой считалась отражающей градуированное нейронное возбуждение, и биологическая правдоподобность служила как принципом проектирования, так и источником престижа.

В начале 2010-х годов выпрямленная линейная единица (ReLU) вытеснила сигмоиду, потому что она сделала глубокие сети обучаемыми там, где сигмоида не могла. Производная сигмоиды вызывает исчезновение градиентов при обратном распространении, так как произведение малых производных сжимается с каждым слоем. ReLU решил эту проблему, избегая насыщения, что позволило эффективно обучать более глубокие сети.

Революция ReLU показала, что функция активации никогда не была фиксированным биологическим обязательством, а рабочей гипотезой, пересматриваемой под эмпирическим давлением. Переход от биологического вдохновения к прагматической производительности ставит под сомнение, какой вес биология на самом деле имела в проектировании нейронных сетей.

神经网络设计中很少有决策像激活函数的选择那样经历了如此多的修订。这是与生物学最直接的比较点，决定了人工神经元如何触发。早期的答案倾向于生物相似性：Warren Mc Culloch和Walter Pitts在1943年提出了第一个正式的神经元模型，Frank Rosenblatt在1957年的感知机增加了可调权重。sigmoid函数以其平滑的饱和曲线被认为反映了分级神经触发，生物合理性既是设计原则也是声望来源。

在2010年代早期，整流线性单元（ReLU）取代了sigmoid，因为它使深度网络变得可训练，而sigmoid无法做到。sigmoid的导数导致梯度在反向传播中消失，因为小导数的乘积随着每一层而缩小。ReLU通过避免饱和解决了这个问题，实现了更深网络的有效训练。

ReLU革命揭示了激活函数从来不是固定的生物学承诺，而是在经验压力下修订的工作假设。从生物灵感到实用性能的转变质疑了生物学在神经网络设计中究竟有多大的分量。