Nach monatelangem Studium von Neuronen und Schaltkreisen in Bild- und Sprachmodellen kommt der Autor zu dem Schluss, dass die eigenen Mechanismen eines Netzes seine lesbaren Bausteine sind und dass die Aussichten für die mechanistische Interpretierbarkeit weit besser sind als befürchtet. Die kanonischen Belege für Polysemantizität und Superposition, die große Teile des Fachs davon überzeugten, dass Netze Konzepte willkürlich zusammenpacken, wurden falsch gedeutet. Was wie willkürliches Packen aussah, war größtenteils ein Muster, das der Autor rekursive Generalisierung nennt, und das ist viel weniger beunruhigend. Das bedeutet, dass Forschende Netze direkt untersuchen können, statt sie zuerst entwirren zu müssen.
Es gibt zwei grundlegende Ansätze der mechanistischen Interpretierbarkeit. Der erste ist schnelle normale Wissenschaft am Netz selbst: Neuronen und Schaltkreise untersuchen, beobachten, wie Daten durch sie fließen, und Erklärungen experimentell prüfen. Der zweite geht von einer Liste hypothetischer Merkmale aus und versucht, diese zu extrahieren, wobei das ursprüngliche Netz oft ignoriert wird. Das Feld begann mit dem ersten Ansatz, wich aber auf den zweiten aus, weil Netze wie verknotete Knäuel wirkten. Das berühmteste polysemantische Neuron eines Bildmodells reagierte sowohl auf Katzengesichter als auch auf Autofronten.
Die führende Erklärung, die Superposition, besagte, dass Netze unverwandte Konzepte zusammenfalten, wenn ihnen Neuronen ausgehen. Nach dieser Sicht muss ein Netz vor jeder Untersuchung entfaltet werden, typischerweise durch das Training eines dünnen Autoencoders. Das zentrale Ergebnis des Autors ist, dass Superposition die falsche Erklärung für Inception V1 war. Architekturprobleme ließen spätere Schichten überlaufen, und schwache Interpretierbarkeitswerkzeuge ließen sie unzusammenhängend erscheinen. Gewöhnliche architektonische Verbesserungen, ohne Änderung von Modellgröße oder Trainingsdaten, machten 99 bis 100 Prozent der Neuronen der letzten Schicht leicht interpretierbar.
Indem der Autor Versionen des Modells über einen Größenbereich vom 300-Fachen trainierte, fand er es in jeder Skala weitgehend lesbar. Mit weniger Platz decken Neuronen gröbere Konzepte ab; mit mehr Platz differenzieren sie sich in spezifische Konzepte. Das Problem war ein gewöhnlicher Lernfehler und kein zweites Lernprinzip, und es lässt sich leicht beheben.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing