بعد شهور من دراسة الخلايا العصبية والدارات في نماذج الصور واللغة، يخلص الكاتب إلى أن الآليات الذاتية للشبكة هي لبناتها القابلة للقراءة، وأن آفاق التفسيرية الميكانيكية أفضل بكثير مما كان يُخشى. فالأدلة الكلاسيكية على تعدد المعاني والتراكب، التي أقنعت معظم أهل المجال بأن الشبكات تحشو المفاهيم بشكل عشوائي، قد أسيء تفسيرها. ما بدا حشواً عشوائياً كان في معظمه نمطاً يسميه الكاتب "التعميم التكراري"، وهو أقل إثارة للقلق بكثير. وهذا يعني أن الباحثين يستطيعون دراسة الشبكات مباشرةً دون الحاجة إلى فك تشابكها أولاً.
هناك نهجان عامان في التفسيرية الميكانيكية. الأول هو العلم المعتاد السريع على الشبكة نفسها: فحص الخلايا العصبية والدارات، ومتابعة تدفق البيانات عبرها، واختبار التفسيرات بالتجارب. أما الثاني فيبدأ من قائمة بخصائص مفترضة ويحاول استخلاصها، متجاهلاً في الغالب الشبكة الأصلية. بدأ المجال بالنهج الأول لكنه عاد إلى الثاني لأن الشبكات بدت كعقد متشابكة. وكان أشهر خلية عصبية متعددة المعاني في نموذج للصور تستجيب لوجوه القطط ولواجهات السيارات معاً.
التفسير الرئيسي، أي التراكب، يرى أن الشبكات تطوي مفاهيم غير مترابطة معاً حين ينفد منها عدد الخلايا العصبية. وفقاً لهذا التصور، يجب فك الشبكة، عادةً بتدريب مُرمِّز تلقائي متناثر، قبل إمكان دراستها. والنتيجة المحورية للكاتب أن التراكب كان التفسير الخاطئ للنموذج Inception V1. فقد أدت مشكلات معمارية إلى فيض الطبقات المتأخرة، وجعلتها أدوات التفسير الضعيفة تبدو غير متماسكة. وبفضل تحسينات معمارية عادية، دون تغيير حجم النموذج أو بيانات تدريبه، صارت 99 إلى 100% من خلايا الطبقة الأخيرة قابلة للتفسير بسهولة.
بتدريب نسخ من النموذج عبر نطاق حجمي يبلغ 300 ضعف، يجد الكاتب أنه مقروء إلى حد كبير عند كل حجم. فمع مساحة أقل تغطي الخلايا مفاهيم أعم، ومع مساحة أكبر تتمايز إلى مفاهيم محددة. كانت المشكلة فشلاً تعلمياً عادياً لا مبدأ تعلم ثانياً، وهي سهلة الإصلاح.
المصدر: Hacker News · لخّصه HeadlinesBriefing