Tras meses estudiando neuronas y circuitos en modelos de imagen y lenguaje, el autor concluye que los mecanismos propios de una red son sus bloques de construcción legibles, y que el panorama de la interpretabilidad mecanicista es mucho mejor de lo que se temía. La evidencia canónica de la polisemanticidad y la superposición, que convenció a gran parte del campo de que las redes agrupan conceptos de forma arbitraria, fue malinterpretada. Lo que parecía un empaquetado arbitrario era sobre todo un patrón que el autor denomina generalización recursiva, mucho menos preocupante. Esto significa que los investigadores pueden estudiar las redes directamente, sin tener que desenredarlas primero.
Existen dos enfoques generales de la interpretabilidad mecanicista. El primero es la ciencia normal y rápida sobre la propia red: examinar neuronas y circuitos, observar cómo fluyen los datos a través de ellos y probar explicaciones mediante experimentos. El segundo parte de una lista de características hipotéticas e intenta extraerlas, a menudo ignorando la red original. El campo comenzó con el primer enfoque, pero recurrió al segundo porque las redes parecían nudos enredados. La neurona polisemántica más famosa de un modelo de imágenes respondía tanto a rostros de gatos como a frentes de automóviles.
La explicación principal, la superposición, sostenía que las redes pliegan conceptos no relacionados cuando se quedan sin neuronas. Según esa visión, una red debe desplegarse, normalmente entrenando un autocodificador disperso, antes de poder estudiarla. El resultado central del autor es que la superposición era la explicación equivocada para Inception V1. Los problemas arquitectónicos hacían que las capas posteriores se desbordaran, y las herramientas de interpretabilidad débiles las hacían parecer incoherentes. Mejoras arquitectónicas ordinarias, sin cambiar el tamaño del modelo ni sus datos de entrenamiento, hicieron que entre el 99 y el 100 % de las neuronas de la última capa fueran fácilmente interpretables.
Al entrenar versiones del modelo en un rango de tamaños de 300×, el autor comprueba que es en general legible a cualquier escala. Con menos espacio, las neuronas cubren conceptos más generales; con más, se diferencian en conceptos específicos. El problema fue un fallo de aprendizaje ordinario, no un segundo principio de aprendizaje, y es fácil de corregir.
Fuente: Hacker News · Resumido por HeadlinesBriefing