Изучив несколько месяцев нейроны и схемы в моделях изображений и языка, автор приходит к выводу, что собственные механизмы сети являются её читаемыми строительными блоками, а перспективы механистической интерпретируемости гораздо лучше, чем он опасался. Каноническими доказательствами полисемантичности и суперпозиции, которые убедили большую часть этой области в том, что сети произвольно упаковывают понятия, была неверно истолкована. То, что выглядело как произвольная упаковка, в основном оказалось мотивом, который автор называет рекурсивным обобщением, и это гораздо меньше вызывает беспокойства. Это означает, что исследователи могут изучать сети напрямую, а не сначала распутывать их.
Существует два основных подхода к механистической интерпретируемости. Первый — быстрая обычная наука о самой сети: изучение нейронов и схем, наблюдение за движением данных через них и проверка объяснений в экспериментах. Второй начинается со списка предполагаемых признаков и пытается их извлечь, часто не обращая внимания на исходную сеть. Область начинала с первого подхода, но вернулась ко второму, потому что сети казались запутанными узлами. Самый известный полисемантичный нейрон в модели изображений реагировал и на кошачьи морды, и на передние части автомобилей.
Основное объяснение, суперпозиция, утверждало, что сети складывают несвязанные понятия вместе, когда у них заканчиваются нейроны. Согласно этому взгляду, сеть перед изучением нужно развернуть, обычно обучив разреженный автоэнкодер. Центральный результат автора состоит в том, что суперпозиция была неверным объяснением для Inception V1. Архитектурные проблемы приводили к переполнению поздних слоёв, а слабые инструменты интерпретации делали их несвязными. Обычные архитектурные улучшения, без изменения размера модели и данных для обучения, сделали 99–100% нейронов последнего слоя легко интерпретируемыми.
Обучив версии модели в диапазоне размеров в 300 раз, автор обнаружил, что она в целом читаема на любом масштабе. При меньшем объёме нейроны охватывают более общие понятия, а при большем дифференцируются в конкретные. Проблема была в обычной неудаче обучения, а не во втором принципе обучения, и её легко исправить.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing