ছবি ও ভাষা মডেলের নিউরন ও সার্কিট নিয়ে কয়েক মাস গবেষণার পর লেখক সিদ্ধান্তে পৌঁছেছেন যে, একটি নেটওয়ার্কের নিজস্ব প্রক্রিয়াগুলোই তার পাঠযোগ্য মৌলিক উপাদান, এবং যান্ত্রিক ব্যাখ্যাযোগ্যতার (mechanistic interpretability) সম্ভাবনা আগের আশঙ্কার চেয়ে অনেক ভালো। বহু-অর্থক (polysemanticity) ও উপরি-স্থাপন (superposition) সংক্রান্ত যে প্রামাণ্য উদাহরণ এই ক্ষেত্রের অনেককে বিশ্বাস করিয়েছিল যে নেটওয়ার্ক ধারণাগুলোকে যথেচ্ছভাবে ঠাসাঠাসি করে, তা ভুলভাবে পড়া হয়েছিল। যাকে যথেচ্ছ ঠাসাঠাসি মনে হয়েছিল, তার বেশির ভাগই ছিল লেখকের "পুনরাবৃত্ত সাধারণীকরণ" নামে অভিহিত একটি নকশা, যা অনেক কম উদ্বেগজনক। এর মানে গবেষকরা নেটওয়ার্ককে আগে জট ছাড়িয়ে না নিয়েই সরাসরি অধ্যয়ন করতে পারেন।
যান্ত্রিক ব্যাখ্যাযোগ্যতার দুটি মোটামুটি পদ্ধতি আছে। প্রথমটি হলো নেটওয়ার্কের ওপরই দ্রুত, স্বাভাবিক বিজ্ঞানচর্চা: নিউরন ও সার্কিট পরীক্ষা করা, তাদের মধ্য দিয়ে ডেটার প্রবাহ লক্ষ করা, এবং পরীক্ষার মাধ্যমে ব্যাখ্যাগুলো যাচাই করা। দ্বিতীয়টি অনুমিত বৈশিষ্ট্যের একটি তালিকা থেকে শুরু করে সেগুলো বের করার চেষ্টা করে, প্রায়ই মূল নেটওয়ার্ককে উপেক্ষা করে। ক্ষেত্রটি প্রথম পদ্ধতি দিয়ে শুরু হলেও নেটওয়ার্ককে জটপাকানো গিঁট মনে হওয়ায় দ্বিতীয়টিতে ফিরে যায়। একটি ছবি মডেলের সবচেয়ে বিখ্যাত বহু-অর্থক নিউরন বিড়ালের মুখ ও গাড়ির সামনের অংশ, উভয়ের প্রতিই সাড়া দিত।
প্রধান ব্যাখ্যা, উপরি-স্থাপন, বলত যে নেটওয়ার্কের নিউরন ফুরিয়ে গেলে সে সম্পর্কহীন ধারণাগুলোকে একসঙ্গে ভাঁজ করে ঢুকিয়ে দেয়। এই মতে, কিছু অধ্যয়ন করার আগে নেটওয়ার্ককে খুলতে হবে, সাধারণত একটি বিরল স্বয়ংক্রিয় এনকোডার প্রশিক্ষণ দিয়ে। লেখকের কেন্দ্রীয় ফলাফল হলো, Inception V1-এর ক্ষেত্রে উপরি-স্থাপন ভুল ব্যাখ্যা ছিল। স্থাপত্যগত সমস্যায় পরের স্তরগুলো উপচে পড়ত, আর দুর্বল ব্যাখ্যা-সরঞ্জাম সেগুলোকে অসংলগ্ন মনে করাত। মডেলের আকার বা প্রশিক্ষণ ডেটা না বদলেই সাধারণ স্থাপত্যগত উন্নতিতে শেষ স্তরের ৯৯-১০০% নিউরন সহজে ব্যাখ্যাযোগ্য হয়ে ওঠে।
লেখক ৩০০ গুণ আকার-পরিসরে মডেলের সংস্করণ প্রশিক্ষণ দিয়ে দেখেন, প্রতিটি আকারেই এটি মোটামুটি পাঠযোগ্য। কম জায়গায় নিউরনগুলো বৃহত্তর ধারণা ধারণ করে; বেশি জায়গায় সেগুলো নির্দিষ্ট ধারণায় পৃথক হয়। সমস্যাটি ছিল একটি সাধারণ শেখার ব্যর্থতা, দ্বিতীয় কোনো শেখার নীতি নয়, এবং সেটি সহজেই ঠিক করা যায়।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing