Лидеры крупнейших ИИ-компаний бьют тревогу об опасности своих технологий. Генеральный директор Anthropic Dario Amodei предупредил о серьезных рисках и призвал к замедлению прогресса, в то время как генеральный директор OpenAI Sam Altman поддержал необходимость "контролировать темп передовой". Бывший исследователь Anthropic Jacob Coxon и коллега Evan Hubinger публично предупредили, что ИИ может позволить создание смертоносного биологического оружия, включая генонаправленные вирусы, уничтожающие урожай грибы и не обнаруживаемые токсины. Исследование 2022 года компании Collaborations Pharmaceuticals продемонстрировало, как генератор молекул ИИ произвел 40 000 потенциальных химических боевых агентов менее чем за шесть часов, некоторые более токсичны, чем известные нервно-паралитические газы. Профессор биоэтики Стэнфордского университета David Magnus, отслеживающий злоупотребления биотехнологиями с 1990-х годов, говорит, что угроза драматически возросла. Большие языковые модели теперь предоставляют подробное экспериментальное руководство, а DIY-биотехнологии снизили барьеры входа. Существующие меры защиты — скрининг поставщиков ДНК, обзоры красной и синей команд, настройка ИИ-инструментов — небезупречны. Anthropic недавно сообщила о попытках злоупотребления своими моделями для усиления вирусов, птичьего гриппа и атласов токсинов, подчеркивая продолжающуюся игру в кошки-мышки между разработчиками и вредоносными акторами.