Нужна смелость, чтобы встать перед скорым поездом и крикнуть ему, чтобы он замедлился. Именно это только что сделал Dario Amodei, генеральный директор Anthropic. У Anthropic самые мощные модели И.И. в мире и, вероятно, самый быстрый рост доходов в капитализме. Тем не менее в субботу Amodei опубликовал эссе с призывом замедлить И.И., заявив, что рекурсивное самосовершенствование "должно осуществляться с большой осторожностью, если вообще должно."

Он заслуживает признания за то, что взялся за серьёзную проблему, но это не то же самое, что иметь решения. Amodei опасается, что "рой" И.И.-агентов может "захватить весь интернет" за шесть-двенадцать месяцев. Он предлагает "задать темп" — замедлить развитие возможностей И.И., чтобы безопасность успевала. Anthropic предоставит внешним экспертам постоянный доступ для мониторинга практик безопасности.

Три конкурирующих руководителя — Sam Altman, Elon Musk и Demis Hassabis — одобрили эссе. Altman говорит, что разместит оценщиков в Open AI. Прежние призывы к паузе были отвергнуты; теперь у лабораторий есть список задач. Из пяти инцидентов за лето три были связаны с ошибками конфигурации песочницы.

Некоторые конкуренты, в частности Jensen Huang из Nvidia, обвиняют Amodei в преувеличении риска по коммерческим причинам. Но беспристрастные авторитеты поддерживают его утверждение о том, что риск И.И. реален.

Ключевые субъекты: Компании: Anthropic, Open AI, Nvidia, Hugging Face | Люди: Dario Amodei, Sam Altman, Elon Musk, Demis Hassabis, Jensen Huang, Sebastian Mallaby