画像モデルと言語モデルのニューロンと回路を数か月にわたって研究した結果、著者はネットワーク自身の仕組みこそが読み解ける基本的な構成要素であり、機械論的解釈可能性の見通しは懸念していたよりはるかに良いと結論づけています。多義性と重ね合わせに関する代表的な証拠は、ネットワークが概念を恣意的に詰め込むという見方を多くの研究者に納得させましたが、それは誤って解釈されていました。恣意的な詰め込みに見えたものの大半は、著者が「再帰的一般化」と呼ぶパターンであり、懸念はずっと小さいものでした。つまり研究者は、まずネットワークをほどく必要なく、直接それを研究できるのです。
機械論的解釈可能性には大きく分けて二つのアプローチがあります。一つ目は、ネットワーク自体に対する迅速な通常科学で、ニューロンや回路を調べ、データがそこを流れる様子を観察し、実験によって説明を検証します。二つ目は、仮説上の特徴のリストから出発してそれらを抽出しようとするもので、元のネットワークを無視することが多いのです。この分野は一つ目から始まりましたが、ネットワークが絡み合った結び目に見えたため二つ目に戻りました。画像モデルで最も有名な多義ニューロンは、猫の顔と車の前面の両方に反応していました。
主要な説明である重ね合わせは、ネットワークがニューロンを使い果たすと、無関係な概念を折り畳んで一緒に詰め込むというものでした。この見方では、何かを研究する前にネットワークを展開する必要があり、通常はスパースオートエンコーダを訓練して行います。著者の中心的な結果は、Inception V1に対して重ね合わせは誤った説明だったというものです。アーキテクチャ上の問題で後の層があふれ、弱い解釈ツールがそれらを支離滅裂に見せていたのです。モデルのサイズや学習データを変えずに、通常のアーキテクチャ改善を行うと、最後の層のニューロンの99〜100%が容易に解釈可能になりました。
著者はモデルのバージョンを300倍のサイズ範囲にわたって訓練し、どの規模でもおおむね読み解けることを確認しました。容量が少ないとニューロンはより粗い概念を覆い、容量が多いと具体的な概念に分化します。問題は二つ目の学習原理があったことではなく、通常の学習の失敗であり、それは容易に修正できるというのが著者の結論です。
出典: Hacker News · 要約：HeadlinesBriefing