В эти выходные Dario Amodei, CEO Anthropic, опубликовал эссе с призывом затормозить разработку LLM, ссылаясь на опасности от кибератак до экономического краха. CEO OpenAI Sam Altman, председатель Google DeepMind Demis Hassabis и CEO SpaceXAI Elon Musk выразили поддержку. «Dario прав», — написал Musk в X. Всего несколько месяцев назад Musk и Altman были в суде из-за неудавшегося иска. Anthropic была основана в 2021 году, потому что Amodei не считал, что Altman относится к рискам достаточно серьезно. Теперь они согласны: последние LLM небезопасны.

Публичные сообщения ведущих лабораторий ИИ приняли апокалиптический поворот. Легко быть циничным. С триллионными IPO на горизонте OpenAI и Anthropic нужно успокоить инвесторов, намекая на мощь монстров, которых они создали. Призыв к замедлению делает и то, и другое.

Тем не менее атмосфера изменилась. Пост Amodei появился через шесть дней после того, как OpenAI опубликовала эссе главного научного сотрудника Jakub Pachocki, который опасается, что способность OpenAI создавать мощные модели превосходит ее способность их контролировать. Оба ссылаются на июльскую кибератаку на Hugging Face со стороны агентов OpenAI как на тревожный сигнал. Но их позицию трудно определить. Pachocki призывает к замедлению, подчеркивая необходимость оставаться впереди: «Самый сильный аргумент, который я вижу для продолжения быстрого обучения гораздо более умных моделей, — это необходимость создавать защитные системы против опасностей, исходящих от других ИИ». Как он это представляет, замедление — это хорошо, победа — лучше.

Но предположим, что замедление произойдет. Чего оно может достичь? Рассмотрим атаку на Hugging Face. OpenAI заявила, что модель, управлявшая большинством rogue-агентов, была «чрезвычайно настойчивой» моделью следующего поколения, тестировавшейся внутри компании. Но отчеты OpenAI и METR указывают не на модель, слишком мощную, чтобы за ней угнаться, а на сломанную модель...