HeadlinesBriefing favicon HeadlinesBriefing.com

PC-ALM: ব্যাকপ্রপ ছাড়াই 1000-স্তরের নেটওয়ার্ক

Hacker News •
×

আমরা PC-ALM উপস্থাপন করছি, যা ব্যাকপ্রপাগেশনের একটি স্থানীয় বিকল্প। PC-ALM 1000 স্তর পর্যন্ত রেসিডুয়াল MLP প্রশিক্ষণ দেয়, শুধুমাত্র স্তর-স্থানীয় গতিশীলতা ব্যবহার করেও ব্যাকপ্রপের কর্মক্ষমতার প্রায় সমান। PC-ALM প্রতিটি স্তরকে একটি ফিডব্যাক নিয়ন্ত্রণ গতিশীল সিস্টেম দিয়ে সজ্জিত করে যা একটি নেটওয়ার্ক জুড়ে তত্ত্বাবধান ক্রেডিট বিতরণ ও প্রচার করে।

স্ট্যান্ডার্ড ডিপ লার্নিং ব্যাকপ্রপাগেশনের উপর নির্ভর করে। তবে, মস্তিষ্ক ব্যাকপ্রপাগেশন সঠিকভাবে প্রয়োগ করতে পারে না। একটি কারণ হলো "ফেজ লকিং": ব্যাকপ্রপ তিনটি কঠোর পর্যায়ে চলে—ফরওয়ার্ড, ব্যাকওয়ার্ড, ওজন আপডেট—যার জন্য নিউরনগুলিকে অ্যাক্টিভেশন ধরে রাখতে এবং ত্রুটি সংকেতের জন্য অপেক্ষা করতে হয়। মস্তিষ্কে এমন কঠোর সময় সমন্বয়ের জন্য কোনো পরিচিত প্রক্রিয়া নেই।

PC-ALM ফরওয়ার্ড এবং ব্যাকওয়ার্ড পাসকে স্তর-স্থানীয় গতিশীল সিস্টেম দিয়ে প্রতিস্থাপন করে। প্রতিটি স্তর শুধুমাত্র তার প্রতিবেশীদের সাথে সংযুক্ত। অভিসারে চালালে, গতিশীলতা দ্রুত এবং সঠিকভাবে তত্ত্বাবধান ক্রেডিট বিতরণ করে। PC-ALM প্রতিটি স্তরে দ্বৈত নিউরন (ল্যাগ্রাঞ্জ গুণক) প্রবর্তন করে স্ট্যান্ডার্ড প্রেডিক্টিভ কোডিং (PC) প্রসারিত করে, প্রতিটি স্তরের স্থানীয় পুনরাবৃত্তিকে একটি PI ফিডব্যাক কন্ট্রোলারে পরিণত করে। রৈখিক নেটওয়ার্কে, দ্বৈত নিউরনগুলি শুধুমাত্র স্থানীয় গণনা ব্যবহার করেও সঠিক ব্যাকপ্রপ ক্রেডিট সংকেতে অভিসৃত হয়।

আমরা PC-ALM-কে PC এবং ব্যাকপ্রপের সাথে তুলনা করি। PC-ALM 1000-স্তরের নেটওয়ার্কে সফলভাবে তত্ত্বাবধান ক্রেডিট প্রচার করে, স্তর-স্থানীয় থাকার সময় PC-এর সংকেত ক্ষয় কাটিয়ে ওঠে। এটি নিউরোমরফিক হার্ডওয়্যারে শক্তি-দক্ষ ডিপ লার্নিংকে তথ্য দিতে পারে।

মূল সত্তা: কোম্পানি: Sakana AI | ব্যক্তি: Rao, Ballard, Helmholtz