নিউরাল নেটওয়ার্ক ডিজাইনে খুব কম সিদ্ধান্তই অ্যাক্টিভেশন ফাংশনের পছন্দের মতো এত সংশোধন আকর্ষণ করেছে। এটি সেই জায়গা যেখানে জীববিজ্ঞানের সাথে তুলনা সবচেয়ে আক্ষরিক, সিদ্ধান্ত নেয় যে একটি কৃত্রিম নিউরনের ফায়ার করার অর্থ কী। প্রাথমিক উত্তর জৈবিক সাদৃশ্যের পক্ষে ছিল: Warren Mc Culloch এবং Walter Pitts 1943 সালে প্রথম আনুষ্ঠানিক নিউরন মডেল প্রস্তাব করেছিলেন, এবং Frank Rosenblatt-এর 1957 সালে পারসেপ্ট্রন সামঞ্জস্যযোগ্য ওজন যোগ করেছিল। সিগময়েড ফাংশন, তার মসৃণ, সম্পৃক্ত বক্ররেখা সহ, গ্রেডেড নিউরাল ফায়ারিং প্রতিফলিত করে বলে ধরা হয়েছিল, এবং জৈবিক যুক্তিযুক্ততা নকশা নীতি এবং প্রতিপত্তির উভয় উৎস হিসাবে কাজ করেছিল।
২০১০-এর দশকের শুরুতে, রেকটিফায়েড লিনিয়ার ইউনিট (ReLU) সিগময়েডকে স্থানচ্যুত করেছিল কারণ এটি গভীর নেটওয়ার্কগুলিকে প্রশিক্ষণযোগ্য করে তুলেছিল যেখানে সিগময়েড পারেনি। সিগময়েডের ডেরিভেটিভ ব্যাকপ্রোপাগেশনের মাধ্যমে গ্রেডিয়েন্টগুলিকে লোপ পেতে বাধ্য করে, কারণ ছোট ডেরিভেটিভের গুণফল প্রতিটি স্তরের সাথে সঙ্কুচিত হয়। ReLU সম্পৃক্তি এড়িয়ে এটি সমাধান করেছে, গভীরতর নেটওয়ার্কগুলির কার্যকর প্রশিক্ষণ সক্ষম করেছে।
ReLU বিপ্লব প্রকাশ করেছে যে অ্যাক্টিভেশন ফাংশন কখনই একটি নির্দিষ্ট জৈবিক প্রতিশ্রুতি ছিল না, বরং একটি কার্যকরী অনুমান যা অভিজ্ঞতামূলক চাপে সংশোধিত হয়েছিল। জৈবিক অনুপ্রেরণা থেকে বাস্তবসম্মত কর্মক্ষমতায় স্থানান্তর প্রশ্ন উত্থাপন করে যে নিউরাল নেটওয়ার্ক ডিজাইনে জীববিজ্ঞান কতটা ওজন বহন করেছিল।
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing