Исследователи безопасности предупреждают, что откровенный контент, созданный ИИ, распространяется почти без контроля, а регуляторы почти ничего не делают, чтобы это остановить. Исследование, написанное в соавторстве с Google и охватившее интернет-пользователей в США, Австралии и Великобритании, показало, что такой контент без согласия часто передаётся через личные сообщения или хранится в закрытых облачных хранилищах, где его труднее обнаружить или пожаловаться на него. Исследователи пришли к выводу, что самой важной точкой вмешательства остаются вредоносные ИИ-инструменты, используемые для создания поддельных откровенных изображений.
Тестирование методом red-teaming, проведённое в последние месяцы, показывает, что ведущие генераторы изображений от Google и OpenAI могут хуже блокировать откровенные результаты по мере роста своих возможностей. White Circle, компания с статусом public benefit corporation, поддерживаемая старшими руководителями и исследователями из Anthropic, DeepMind, Hugging Face и OpenAI, забила тревогу. В препринте, опубликованном в прошлом месяце, её исследователи выявили уязвимости в защитных механизмах DALL·E 3, Nano Banana 2 от Google и GPT-Image-2. Используя готовые инструменты и вызовы API, они обходили фильтры безопасности и генерировали откровенный контент примерно в 13 процентах случаев. По их словам, это наивысший показатель обхода среди всех методов, протестированных по тому же стандарту.
White Circle также сообщает, что более новые модели, ChatGPT Images 2.5 и Nano Banana 2.1, «значительно легче взломать», чем их предшественников. Компания планирует открыть исходный код своего конвейера атак и представить исследование на конференции NeurIPS 2026 в ноябре. Ни Google, ни OpenAI не ответили на запросы Ars Technica о комментарии.
Гендиректор Денис Шилов заявил, что результаты вызывают тревогу, поскольку та же слабость может затронуть защиту, которая обновляется для блокировки других вредоносных действий ИИ, например хакерских атак. Главный посыл компании: системы безопасности ИИ у ведущих лабораторий слабее, чем они признают.
Источник: Ars Technica · Сводку подготовил HeadlinesBriefing