छवि और भाषा मॉडलों में न्यूरॉन और सर्किट के महीनों के अध्ययन के बाद लेखक इस निष्कर्ष पर पहुँचे हैं कि किसी नेटवर्क के अपने तंत्र ही उसके पठनीय आधार खंड हैं, और यांत्रिक व्याख्यात्मकता (mechanistic interpretability) का दृष्टिकोण पहले की आशंका से कहीं बेहतर है। बहुबोधकता (polysemanticity) और अधिरोपण (superposition) के वे मानक प्रमाण, जिन्होंने इस क्षेत्र के अधिकांश लोगों को विश्वास दिलाया था कि नेटवर्क मनमाने ढंग से अवधारणाओं को भर देते हैं, गलत पढ़े गए थे। जो मनमाना भराव लगता था, वह ज़्यादातर उस पैटर्न का परिणाम था जिसे लेखक "पुनरावर्ती सामान्यीकरण" कहते हैं, और यह कहीं कम चिंताजनक है। इसका अर्थ है कि शोधकर्ता नेटवर्क को पहले उलझन से मुक्त किए बिना सीधे अध्ययन कर सकते हैं।
यांत्रिक व्याख्यात्मकता तक पहुँचने के दो मोटे तरीके हैं। पहला है स्वयं नेटवर्क पर त्वरित, सामान्य विज्ञान: न्यूरॉन और सर्किट की जाँच करना, उनमें डेटा के प्रवाह को देखना, और प्रयोगों के ज़रिए स्पष्टीकरणों को परखना। दूसरा किसी परिकल्पित विशेषताओं की सूची से शुरू होता है और उन्हें निकालने की कोशिश करता है, अक्सर मूल नेटवर्क को नज़रअंदाज़ करते हुए। यह क्षेत्र पहले तरीके से शुरू हुआ था, पर नेटवर्क उलझी हुई गाँठों जैसे लगने के कारण दूसरे तरीके की ओर लौट गया। छवि मॉडल में सबसे प्रसिद्ध बहुबोधक न्यूरॉन बिल्ली के चेहरों और कारों के सामने वाले हिस्से, दोनों पर प्रतिक्रिया देता था।
प्रमुख व्याख्या, अधिरोपण, यह मानती थी कि जब नेटवर्क के न्यूरॉन कम पड़ जाते हैं तो वह असंबंधित अवधारणाओं को एक साथ मोड़कर भर देता है। इस दृष्टिकोण के अनुसार किसी नेटवर्क का अध्ययन करने से पहले उसे खोलना पड़ता है, आमतौर पर एक विरल ऑटोएनकोडर को प्रशिक्षित करके। लेखक का मुख्य निष्कर्ष यह है कि Inception V1 के लिए अधिरोपण गलत व्याख्या थी। वास्तुकला की समस्याओं के कारण बाद की परतें अति-भरी हो जाती थीं, और कमज़ोर व्याख्यात्मकता उपकरण उन्हें असंगत दिखाते थे। मॉडल के आकार या प्रशिक्षण डेटा में बदलाव किए बिना, साधारण वास्तुकला सुधारों ने अंतिम परत के 99-100% न्यूरॉन आसानी से व्याख्या योग्य बना दिए।
लेखक ने मॉडल के 300× आकार-परिसर में संस्करण प्रशिक्षित किए और पाया कि यह हर आकार पर मोटे तौर पर पठनीय है। कम जगह होने पर न्यूरॉन मोटे अवधारणाओं को समेटते हैं; अधिक जगह होने पर वे विशिष्ट अवधारणाओं में बँट जाते हैं। समस्या एक साधारण अधिगम विफलता थी, कोई दूसरा अधिगम सिद्धांत नहीं, और उसे ठीक करना आसान है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित