Após meses estudando neurônios e circuitos em modelos de imagem e linguagem, o autor conclui que os mecanismos próprios de uma rede são seus blocos de construção legíveis, e que as perspectivas da interpretabilidade mecanicista são muito melhores do que se temia. As evidências clássicas de polissemanticidade e superposição, que convenceram boa parte da área de que as redes empacotam conceitos de forma arbitrária, foram mal interpretadas. O que parecia um empacotamento arbitrário era, em sua maior parte, um padrão que o autor chama de generalização recursiva, bem menos preocupante. Isso significa que os pesquisadores podem estudar as redes diretamente, sem precisar desembaraçá-las antes.
Existem duas abordagens gerais da interpretabilidade mecanicista. A primeira é a ciência normal e rápida sobre a própria rede: examinar neurônios e circuitos, observar como os dados fluem por eles e testar explicações por meio de experimentos. A segunda parte de uma lista de características hipotéticas e tenta extraí-las, muitas vezes ignorando a rede original. A área começou com a primeira abordagem, mas recuou para a segunda porque as redes pareciam nós emaranhados. O neurônio polissêmico mais famoso de um modelo de imagem respondia tanto a rostos de gatos quanto a frentes de carros.
A explicação principal, a superposição, sustentava que as redes dobram conceitos não relacionados quando ficam sem neurônios. Segundo essa visão, é preciso desdobrar a rede, normalmente treinando um autoencoder esparso, antes de estudá-la. O resultado central do autor é que a superposição era a explicação errada para o Inception V1. Problemas de arquitetura faziam as camadas finais transbordar, e ferramentas de interpretação fracas as faziam parecer incoerentes. Melhorias arquiteturais comuns, sem alterar o tamanho do modelo nem seus dados de treinamento, tornaram 99 a 100% dos neurônios da última camada facilmente interpretáveis.
Ao treinar versões do modelo numa faixa de tamanhos de 300×, o autor constata que ele é amplamente legível em todas as escalas. Com menos espaço, os neurônios cobrem conceitos mais gerais; com mais espaço, diferenciam-se em conceitos específicos. O problema era uma falha de aprendizado comum, e não um segundo princípio de aprendizado, e é fácil de corrigir.
Fonte: Hacker News · Resumido por HeadlinesBriefing