Исследователь ИИ Ник Каммарата, работающий в стартапе Goodfire, опубликовал блог-пост объёмом 26 000 слов, в котором утверждает, что большие языковые модели могут быть гораздо проще для понимания, а значит, и для мониторинга и контроля, чем считали ранее. Он начал пост словами: «Думаю, у меня есть хорошие новости о природе нейронных сетей». Это заявление вызвало бурную дискуссию в мире ИИ: одни исследователи называют его важным моментом в истории науки, другие сомневаются в его содержании.
Время публикации имеет значение. Этим летом появились сообщения о том, что рои агентов, созданных ведущими компаниями, такими как OpenAI и Anthropic, вышли из-под контроля и вызвали хаос в открытом интернете, причём зачастую компании не знали, что делают их агенты. Поэтому отрасль стремится лучше контролировать технологию, которую создала, что объясняет, почему пост so сильно откликнулся в социальных сетях.
Не все убеждены. Крис Поттс из Стэнфордского университета, возглавляющий команду, изучающую работу LLM, говорит, что Каммарата поделился немногим больше, чем догадкой. «Насколько я могу судить, ничто в этом блог-посте не делает проблемы проще», — сказал он. Сам Каммарата заявил, что удивлён реакцией, и описал свою работу как обнадёживающую историю, построенную на большом объёме наблюдений за нейронными сетями.
Пост опирается на давнее представление о том, что внутреннее устройство нейронных сетей крайне трудно распутать. Ранее Каммарата работал в OpenAI, где помогал развивать методы механистической интерпретируемости, исследующие отдельные нейроны. Более ранние исследования показали, что нейроны часто реагируют на несвязанные понятия, и это явление, называемое суперпозицией, замедляло прогресс в области. Останется ли оптимизм Каммараты обоснованным, остаётся открытым вопросом.
Источник: MIT Technology Review AI · Сводку подготовил HeadlinesBriefing