قلة من القرارات في تصميم الشبكات العصبية جذبت قدرًا كبيرًا من المراجعة مثل اختيار دالة التنشيط. إنها النقطة التي تكون فيها المقارنة مع علم الأحياء أكثر حرفية، حيث تحدد ما يعنيه أن تشتعل خلية عصبية اصطناعية. فضلت الإجابة المبكرة التشابه البيولوجي: اقترح Warren Mc Culloch و Walter Pitts أول نموذج عصبي رسمي في 1943، وأضافت بيرسيبترون Frank Rosenblatt في 1957 أوزانًا قابلة للتعديل. اعتُبرت دالة السيجمويد، بمنحناها الناعم المشبع، تعكس الإطلاق العصبي المتدرج، وخدمت المعقولية البيولوجية كمبدأ تصميم ومصدر هيبة.
في أوائل العقد الأول من القرن الحادي والعشرين، حلت الوحدة الخطية المصححة (ReLU) محل السيجمويد لأنها جعلت الشبكات العميقة قابلة للتدريب حيث لم تستطع السيجمويد. يتسبب مشتق السيجمويد في تلاشي التدرجات عبر الانتشار العكسي، حيث يتقلص ناتج المشتقات الصغيرة مع كل طبقة. حلت ReLU هذا بتجنب التشبع، مما مكن من التدريب الفعال للشبكات الأعمق.
كشفت ثورة ReLU أن دالة التنشيط لم تكن أبدًا التزامًا بيولوجيًا ثابتًا، بل فرضية عمل تمت مراجعتها تحت ضغط تجريبي. يثير التحول من الإلهام البيولوجي إلى الأداء العملي تساؤلات حول مقدار الوزن الذي حمله علم الأحياء في تصميم الشبكات العصبية.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing