この論文は、メカニスティックインタープリタビリティを通じてトランスフォーマー言語モデルを逆行工学するための初期段階を提示します。GPT-3、LaMDA、Codex、Meena、Gopherのようなモデルがスケーリングされると、そのオープンネスは予期しない有害な行動のリスクを生み出します。メカニスティックインタープリタビリティは、バイナリをソースコードに逆行工学するのと同様に、詳細な計算を逆行工学することを目指し、安全性の問題に対する体系的なアプローチを提供する可能性があります。

著者は、GPT-3の96層の注意とMLPブロックを交互にするのと対照に、2層以下の注意のみのトランスフォーマーを研究します。トランスフォーマーの操作を数学的に等価なフレームワークとして概念化することで、内部操作についての重要な理解を得ます。主要な発見には以下が含まれます:ゼロ層のトランスフォーマーは重みから直接アクセス可能なビッグラム統計をモデル化します;1層のモデルはビッグラムと"スキップトリグラム"(例えば"A… B C")モデルのアンサンブルであり、直接アクセス可能なテーブルを持ちます;そして特定の"インダクションヘッド"は小さなモデルでのコンテキスト内学習を説明し、少なくとも2つの注意層を持つモデルでのみ発達します。

このフレームワークには、仮想重み、通信チャネルとしての残差ストリーム、独立した加算的注意ヘッド、パス展開のトリック、およびQK/OV回路分析などの概念が含まれます。この最初の論文では、まだ大きなモデルに適用されていませんが、将来の研究は、フレームワークとインダクションヘッドが大きなモデルに対しても部分的に関連していることを示していますが、完全な逆行工学はまだ遠いです。

主要なエンティティ:会社:GPT-3, LaMDA, Codex, Meena, Gopher

よくある質問:インダクションヘッドとは何ですか、なぜ重要なのでしょうか?

インダクションヘッドは、小さなトランスフォーマーモデルでのコンテキスト内学習を説明する特定の注意ヘッドです。それらは少なくとも2つの注意層を持つモデルでのみ発達し、トランスフォーマーがコンテキストからパターンをコピーして補完する方法のメカニスティックな基礎を示唆しています。

FAQ Q:インダクションヘッドとは何ですか、なぜ重要なのでしょうか?

FAQ A:インダクションヘッドは、小さなトランスフォーマーモデルでのコンテキスト内学習を説明する特定の注意ヘッドです。それらは少なくとも2つの注意層を持つモデルでのみ発達し、トランスフォーマーがコンテキストからパターンをコピーして補完する方法のメカニスティックな基礎を示唆しています。