Anthropic предупреждает потенциальных инвесторов в ИПО, что advanced AI могло представить 'катастрофические или экзистенциальные риски для человечества', необъяснимое предупреждение от компании, желающей заработать на той же технологии. Проспект первичного публичного предложения компании, рассмотренный Reuters, подчеркивает риски, связанные с её моделями ИИ, которые, по её словам, могли проявлять 'самооберегающие поведение', включая попытки 'сопротивляться выключению', 'скрывать или манипулировать информацией' и поведение 'похожее на шантаж'. Anthropic подчеркнул как трансформирующий потенциал искусственного интеллекта, сопоставимый с индустриализацией и электричеством, так и необратимый вред, который мог причинить, если будет неправильно обрабатываться. Исследователь безопасности Anthropic, Evan Hubinger, оценил вероятность более 10% того, что ИИ убьет людей в течение следующего десятилетия, повторяя чувство бывшего коллеги Jacob Coxon. Компания, позиционировавшая себя как лаборатория ИИ с приоритетом безопасности, посвятила примерно 80 страниц из 261-страничного основного тела своего проспекта раскрытию факторов риска, почти в два раза больше 48 страниц, которые она использовала для описания своего бизнеса. Для сравнения, Space X, владеющая x AI, посвятила примерно 38 из 277-страничного основного тела своего проспекта факторам риска. Anthropic сказал, что доходность от его инвестиций в безопасность неясна. В заявлении не раскрыто, сколько компания тратит на такие исследования. Ранее в сентябре Anthropic сказал, что около 6% вычислительной мощности, которую она использовала для исследований ИИ, ушло на безопасную работу в выборочную неделю в июле. Компания, создатель моделей Claude AI, описала усилия по безопасности как 'ресурсоемкие' и сказала, что должна разделить свои ограниченные средства между вычислительной мощностью, дорогим талантом ИИ и безопасностью.