在数月研究图像和语言模型中的神经元与电路之后，作者得出结论：网络自身的机制就是其可读的基本构件，机械可解释性的前景远比此前所担心的要好。曾让该领域大多数人相信网络会任意堆叠概念的多义性与叠加性的典型证据被误读了。看似任意的堆叠，大多是作者称为“递归泛化”的模式，其令人担忧的程度要小得多。这意味着研究者可以直接研究网络，而无需先将其解开。
机械可解释性大致有两种途径。第一种是对网络本身进行快速的常规科学研究：考察神经元和电路，观察数据如何在其中流动，并通过实验检验解释。第二种从一系列假设的特征出发，尝试将其提取出来，往往忽略原始网络。该领域最初采用第一种途径，但因为网络看起来像纠缠的结，又退回到第二种。图像模型中最著名的多义神经元，既会响应猫脸，也会响应汽车正面。
主流解释是叠加：当网络神经元不够用时，会把不相关的概念折叠在一起。按照这种观点，必须先将网络展开，通常是训练一个稀疏自编码器，然后才能研究它。作者的核心结论是，叠加并不是 Inception V1 的正确解释。架构问题导致后面的层过载，而薄弱的可解释性工具又让它们显得混乱。在不改变模型规模或训练数据的情况下，普通的架构改进使最后一层 99-100% 的神经元变得易于解释。
作者在 300 倍的规模范围内训练了该模型的不同版本，发现它在每种规模下都大体可读。空间较小时，神经元覆盖较粗的概念；空间较大时，它们会分化为具体的概念。问题在于普通的学习失败，而非第二种学习原理，而且很容易修复。
来源: Hacker News · 由HeadlinesBriefing整理摘要