Après des mois d'étude des neurones et des circuits de modèles d'images et de langage, l'auteur conclut que les mécanismes propres d'un réseau en sont les briques de base lisibles, et que les perspectives de l'interprétabilité mécaniste sont bien meilleures qu'on ne le craignait. Les preuves canoniques de la polysémanticité et de la superposition, qui ont convaincu une grande partie du domaine que les réseaux entassent les concepts de façon arbitraire, ont été mal interprétées. Ce qui semblait un entassement arbitraire était pour l'essentiel un motif que l'auteur appelle généralisation récursive, bien moins préoccupant. Cela signifie que les chercheurs peuvent étudier les réseaux directement, sans avoir à les démêler au préalable.
Il existe deux grandes approches de l'interprétabilité mécaniste. La première est une science normale et rapide menée sur le réseau lui-même : examiner neurones et circuits, observer la circulation des données qui les traversent, et tester des explications par l'expérimentation. La seconde part d'une liste de caractéristiques supposées et tente de les extraire, en ignorant souvent le réseau d'origine. Le domaine a débuté avec la première approche, mais s'est replié sur la seconde parce que les réseaux semblaient être des nœuds emmêlés. Le neurone polysémantique le plus célèbre d'un modèle d'images réagissait à la fois aux visages de chats et aux avants de voitures.
L'explication principale, la superposition, soutenait que les réseaux replient ensemble des concepts sans rapport lorsqu'ils manquent de neurones. Selon cette vue, il faut déplier le réseau, généralement en entraînant un auto-encodeur parcimonieux, avant de pouvoir l'étudier. Le résultat central de l'auteur est que la superposition était la mauvaise explication pour Inception V1. Des problèmes d'architecture faisaient déborder les couches profondes, et des outils d'interprétation faibles les rendaient incohérentes. Des améliorations architecturales ordinaires, sans changer la taille du modèle ni ses données d'entraînement, ont rendu 99 à 100 % des neurones de la dernière couche facilement interprétables.
En entraînant des versions du modèle sur une plage de tailles de 300×, l'auteur constate qu'il est globalement lisible à toutes les échelles. Avec moins de place, les neurones couvrent des concepts plus généraux ; avec davantage de place, ils se différencient en concepts spécifiques. Le problème était un échec d'apprentissage ordinaire, et non un second principe d'apprentissage, et il est facile à corriger.
Source: Hacker News · Résumé par HeadlinesBriefing