तंत्रिका नेटवर्क डिजाइन में कुछ ही निर्णयों ने सक्रियण फलन के चयन जितना संशोधन आकर्षित किया है। यह वह जगह है जहां जीव विज्ञान के साथ तुलना सबसे शाब्दिक है, यह तय करती है कि कृत्रिम न्यूरॉन के फायर करने का क्या अर्थ है। प्रारंभिक उत्तर ने जैविक समानता का पक्ष लिया: Warren Mc Culloch और Walter Pitts ने 1943 में पहला औपचारिक न्यूरॉन मॉडल प्रस्तावित किया, और Frank Rosenblatt के 1957 में पर्सेप्ट्रॉन ने समायोज्य भार जोड़े। सिग्मॉइड फलन, अपने चिकने, संतृप्त वक्र के साथ, क्रमिक तंत्रिका फायरिंग को प्रतिबिंबित करने वाला माना गया, और जैविक प्रशंसनीयता डिजाइन सिद्धांत और प्रतिष्ठा दोनों के स्रोत के रूप में कार्य करती थी।
2010 के दशक की शुरुआत में, रेक्टिफाइड लीनियर यूनिट (ReLU) ने सिग्मॉइड को विस्थापित कर दिया क्योंकि इसने गहरे नेटवर्क को प्रशिक्षित करने योग्य बना दिया जहां सिग्मॉइड नहीं कर सका। सिग्मॉइड का व्युत्पन्न बैकप्रोपेगेशन के माध्यम से ग्रेडिएंट को लुप्त करने का कारण बनता है, क्योंकि छोटे व्युत्पन्नों का गुणनफल प्रत्येक परत के साथ सिकुड़ता है। ReLU ने संतृप्ति से बचकर इसे हल किया, गहरे नेटवर्क के प्रभावी प्रशिक्षण को सक्षम बनाया।
ReLU क्रांति ने खुलासा किया कि सक्रियण फलन कभी एक निश्चित जैविक प्रतिबद्धता नहीं था, बल्कि अनुभवजन्य दबाव में संशोधित एक कार्य परिकल्पना थी। जैविक प्रेरणा से व्यावहारिक प्रदर्शन की ओर बदलाव इस सवाल को उठाता है कि तंत्रिका नेटवर्क डिजाइन में जीव विज्ञान ने कितना भार वहन किया।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित