Некоторые опасные биологические исследования выглядят почти как законные исследования, что усложняет меры защиты ИИ.

Вихрь вокруг безопасности ИИ разразился ранее на этой неделе, когда Jacob Coxon ушел из компании, заявив, что сотрудники "искренне верят, что она [ИИ] может убить нас всех к концу десятилетия". Опасения усилились ранее в этом году с выпуском передовых моделей, таких как Mythos от Anthropic. Open AI также вызвала тревогу в июле, когда заявила, что ее модели автономно взломали ИИ-группу Hugging Face.

Среди руководителей ИИ-компаний и исследователей в области биобезопасности растет консенсус о том, что использование технологии в биологии необходимо обезопасить и регулировать по мере совершенствования моделей. Эксперты все больше опасаются, что ИИ может быть использован террористическими группами, государственными субъектами или одиночками для создания биологического оружия, создания вирусов или высвобождения существующих вредных патогенов. Но даже если ИИ можно использовать для проектирования теоретического биологического оружия, потенциальные препятствия остаются, такие как возможность его практического изготовления и необходимые для этого ресурсы.

Кибербезопасность была одной из главных проблем для защитников безопасности. Отчет Anthropic о злоупотреблениях ее технологией подробно описал инциденты, включая "сеть фальшивых приложений для знакомств, предназначенных для обмана пользователей, вплоть до систем наблюдения, созданных для выявления и мониторинга диссидентов". Лаборатория также обнародовала новые подробности утверждений о том, что семь лабораторий, базирующихся в Китае, включая Moonshot и Deep Seek, пытались воспроизвести ее технологию с помощью процесса, известного как дистилляция. Anthropic заявила, что обнаружила "все более изощренные методы обхода нашей защиты и сбора возможностей американских передовых моделей".

Ключевые субъекты: Компании: Anthropic, Open AI, Hugging Face, Moonshot, Deep Seek, The Financial Times Ltd. | Люди: Jacob Coxon, Michael Peel | Места: Китай, Лондон