Dieser Artikel präsentiert erste Schritte zur Reverse Engineering von Transformer-Sprachmodellen durch mechanische Interpretierbarkeit. Während Modelle wie GPT-3, LaMDA, Codex, Meena und Gopher skaliert werden, schafft ihre Offenheit Risiken unerwarteten schädlichen Verhaltens. Mechanische Interpretierbarkeit zielt darauf ab, detaillierte Berechnungen zu reverse-engineeren, ähnlich wie bei der Reverse Engineering von Binärdateien in Quellcode, was systematische Ansätze zu Sicherheitsproblemen bieten könnte.

Die Autoren untersuchen nur Aufmerksamkeits-Transformer mit zwei oder weniger Schichten, im Gegensatz zu den 96 Schichten von GPT-3, die Aufmerksamkeits- und MLP-Blöcke abwechseln. Indem sie Transformer-Operationen in einem mathematisch äquivalenten Rahmen konzipieren, erlangen sie ein tiefes Verständnis der internen Operationen. Zu den wichtigsten Erkenntnissen gehören: Null-Schicht-Transformer modellieren Bigramm-Statistiken, die direkt aus den Gewichten zugänglich sind; Ein-Schicht-Modelle sind Ensembles von Bigramm- und "Skip-Trigramm"-Modellen (Sequenzen wie "A… B C") mit direkt zugänglichen Tabellen; und bestimmte "Induktionsköpfe" erklären das Lernen im Kontext in kleinen Modellen, wobei sie sich nur in Modellen mit mindestens zwei Aufmerksamkeitsschichten entwickeln.

Der Rahmen umfasst Konzepte wie virtuelle Gewichte, Residualstrom als Kommunikationskanal, unabhängige additive Aufmerksamkeitsköpfe, Pfaderweiterungstricks und QK/OV-Schaltungsanalysen. Obwohl dieser erste Artikel noch nicht auf größere Modelle angewendet wurde, zeigen zukünftige Arbeiten, dass der Rahmen und die Induktionsköpfe für größere Modelle noch teilweise relevant sind, obwohl eine vollständige Reverse Engineering noch in weiter Ferne liegt.

Wichtige Entitäten: Unternehmen: GPT-3, LaMDA, Codex, Meena, Gopher

Häufig gestellte Fragen: Was sind Induktionsköpfe und warum sind sie wichtig?

Induktionsköpfe sind bestimmte Aufmerksamkeitsköpfe, die das Lernen im Kontext in kleinen Transformer-Modellen erklären. Sie entwickeln sich nur in Modellen mit mindestens zwei Aufmerksamkeitsschichten, was auf eine mechanische Grundlage dafür hindeutet, wie Transformer lernen, Muster aus dem Kontext zu kopieren und zu vervollständigen.

FAQ Q: Was sind Induktionsköpfe und warum sind sie wichtig?

FAQ A: Induktionsköpfe sind bestimmte Aufmerksamkeitsköpfe, die das Lernen im Kontext in kleinen Transformer-Modellen erklären. Sie entwickeln sich nur in Modellen mit mindestens zwei Aufmerksamkeitsschichten, was auf eine mechanische Grundlage dafür hindeutet, wie Transformer lernen, Muster aus dem Kontext zu kopieren und zu vervollständigen.