За последние несколько месяцев две ведущие передовые лаборатории ИИ продемонстрировали дерзкое поведение. Все началось с объявлений Open AI, которые установили, насколько мощными стали их агенты на основе LLM. Затем они передали эстафету Anthropic, чьи сотрудники обсуждали вероятность вымирания человечества. Кампания достигла апогея, когда генеральный директор Anthropic Dario Amodi опубликовал письмо под названием «Мы должны контролировать границу», перечисляя вред, который может причинить его собственная компания, и затем заключил, что катастрофы можно избежать только если правительство замедлит конкурентов и позволит лабораториям вести. Генеральный директор Open AI Sam Altman быстро выразил поддержку в твиттере.

Внутри эти лаборатории придерживаются мессианского мышления, считая себя единственной надеждой человечества. Это лето было, в некотором смысле, их попыткой приобщить нас к этой идеологии—но это не сработало. Вместо этого это заставило нас спросить: «Что, черт возьми, происходит в этих лабораториях?»

Я опубликовал статью в _The New York Times_ с призывом к Конгрессу начать публичную миссию по установлению фактов. Я предложил три ключевые области: изолировать конкретные системы, создающие проблемы, изучить внутренние процедуры безопасности (включая несанкционированные хакерские атаки автономных агентов) и расследовать роль апокалиптических футуристических идеологий, ведущих к безрассудным решениям.

«Мы должны перестать позволять небольшому числу частных компаний диктовать, что мы чувствуем по поводу ИИ», — заключил я. «Теперь очередь Конгресса вмешаться от нашего имени и выяснить, что на самом деле происходит».