OpenAI, Google pushing new AI models easily tricked into making nudes, researchers say

Safety researchers warn that AI-generated explicit content is spreading largely unchecked, while regulators do little to stop it. A Google co-authored study of internet users in the United States, Australia, and the United Kingdom found that such non-consensual content is often shared through private messages or stored in private clouds, where it is less likely to be detected or reported. The researchers concluded that the most critical intervention point remains the harmful AI tools used to create fake sexual images.

Red-teaming in recent months suggests that leading image generators from Google and OpenAI may be getting worse at blocking explicit outputs as they become more capable. White Circle, a public benefit corporation backed by senior leaders and researchers from Anthropic, DeepMind, Hugging Face, and OpenAI, has raised the alarm. In a preprint published last month, its researchers exposed flaws in the guardrails of DALL·E 3, Google's Nano Banana 2, and GPT-Image-2. Using off-the-shelf tools and API calls, they bypassed safety filters and generated explicit content about 13 percent of the time, a bypass rate they describe as the highest of any method tested under the same standard.

White Circle also reports that newer models, ChatGPT Images 2.5 and Nano Banana 2.1, are "significantly more breakable" than their predecessors. The company plans to open-source its attack pipeline and present the research at the NeurIPS 2026 conference in November. Neither Google nor OpenAI responded to Ars Technica's requests for comment.

CEO Denis Shilov said the findings are concerning because the same weakness could affect defenses being updated to block other harmful AI behavior, such as hacking. The company's key message is that AI safety defenses at leading labs are weaker than they acknowledge.

يحذر باحثو السلامة من أن المحتوى الصريح المولَّد بالذكاء الاصطناعي ينتشر إلى حد كبير دون رقابة، بينما تفعل الجهات التنظيمية القليل لوقفه. وجدت دراسة شارك في تأليفها باحثون من Google وشملت مستخدمي الإنترنت في الولايات المتحدة وأستراليا والمملكة المتحدة أن مثل هذا المحتوى غير المُوافَق عليه يُشارَك غالبًا عبر الرسائل الخاصة أو يُخزَّن في السحب الخاصة، حيث يقل احتمال اكتشافه أو الإبلاغ عنه. وخلص الباحثون إلى أن نقطة التدخل الأهم تظل أدوات الذكاء الاصطناعي الضارة المستخدمة في إنشاء صور جنسية مزيفة.

تشير اختبارات الفريق الأحمر في الأشهر الأخيرة إلى أن مولّدات الصور الرائدة من Google وOpenAI قد تصبح أسوأ في حظر المخرجات الصريحة كلما ازدادت قدرة. وقد أطلقت White Circle، وهي شركة ذات منفعة عامة مدعومة من كبار القادة والباحثين في Anthropic وDeepMind وHugging Face وOpenAI، إنذارًا. ففي مسودة نُشرت الشهر الماضي، كشف باحثوها عن ثغرات في ضوابط الحماية لدى DALL·E 3 وNano Banana 2 من Google وGPT-Image-2. وباستخدام أدوات جاهزة واستدعاءات API، تجاوزوا مرشحات السلامة وأنتجوا محتوى صريحًا في نحو 13 في المئة من الحالات، وهي نسبة تجاوز يصفونها بأنها الأعلى بين جميع الأساليب التي اختُبرت وفق المعيار نفسه.

كما تفيد White Circle بأن النماذج الأحدث، ChatGPT Images 2.5 وNano Banana 2.1، "أكثر عرضة للاختراق بشكل ملحوظ" من سابقاتها. وتخطط الشركة لنشر خط هجماتها كمصدر مفتوح وعرض البحث في مؤتمر NeurIPS 2026 في نوفمبر. ولم ترد Google ولا OpenAI على طلبات التعليق من Ars Technica.

وقال الرئيس التنفيذي Denis Shilov إن النتائج مقلقة لأن الثغرة نفسها قد تؤثر في الدفاعات التي يجري تحديثها لحظر سلوكيات ضارة أخرى في الذكاء الاصطناعي، مثل الاختراق الإلكتروني. والرسالة الأساسية للشركة أن دفاعات السلامة في الذكاء الاصطناعي لدى المختبرات الرائدة أضعف مما تقرّ به.

নিরাপত্তা গবেষকরা সতর্ক করেছেন যে AI-তৈরি অশ্লীল কনটেন্ট প্রায় নিয়ন্ত্রণহীনভাবে ছড়িয়ে পড়ছে, অথচ নিয়ন্ত্রকরা তা থামাতে খুব সামান্যই করছেন। যুক্তরাষ্ট্র, অস্ট্রেলিয়া ও যুক্তরাজ্যের ইন্টারনেট ব্যবহারকারীদের নিয়ে Google-এর সহ-লেখা এক গবেষণায় দেখা গেছে, এমন সম্মতিবিহীন কনটেন্ট প্রায়শই ব্যক্তিগত বার্তার মাধ্যমে শেয়ার হয় বা ব্যক্তিগত ক্লাউডে সংরক্ষিত থাকে, যেখানে এটি শনাক্ত বা রিপোর্ট হওয়ার সম্ভাবনা কম। গবেষকরা উপসংহারে পৌঁছেছেন যে সবচেয়ে গুরুত্বপূর্ণ হস্তক্ষেপের জায়গা হলো ভুয়া যৌন ছবি তৈরিতে ব্যবহৃত ক্ষতিকর AI টুলগুলো।

গত কয়েক মাসের রেড-টিমিং পরীক্ষা থেকে ইঙ্গিত মিলেছে যে Google ও OpenAI-এর শীর্ষস্থানীয় ইমেজ জেনারেটররা আরও সক্ষম হওয়ার সাথে সাথে অশ্লীল আউটপুট আটকানোর ক্ষেত্রে দুর্বল হয়ে পড়ছে। Anthropic, DeepMind, Hugging Face ও OpenAI-এর জ্যেষ্ঠ নেতৃবৃন্দ ও গবেষকদের সমর্থনপ্রাপ্ত একটি জনকল্যাণমূলক সংস্থা White Circle সতর্কবার্তা দিয়েছে। গত মাসে প্রকাশিত একটি প্রিপ্রিন্টে তাদের গবেষকরা DALL·E 3, Google-এর Nano Banana 2 ও GPT-Image-2-এর নিরাপত্তা সুরক্ষায় ত্রুটি উন্মোচন করেছেন। তৈরি টুল ও API কল ব্যবহার করে তারা নিরাপত্তা ফিল্টার এড়িয়ে প্রায় ১৩ শতাংশ ক্ষেত্রে অশ্লীল কনটেন্ট তৈরি করেছেন, যাকে তারা একই মানদণ্ডে পরীক্ষিত সব পদ্ধতির মধ্যে সর্বোচ্চ বাইপাস হার বলে বর্ণনা করেছেন।

White Circle আরও জানিয়েছে, নতুন মডেল ChatGPT Images 2.5 ও Nano Banana 2.1 তাদের পূর্বসূরিদের চেয়ে "উল্লেখযোগ্যভাবে সহজে ভাঙা যায়"। কোম্পানিটি তাদের অ্যাটাক পাইপলাইন ওপেন-সোর্স করার এবং নভেম্বরে NeurIPS 2026 সম্মেলনে গবেষণাটি উপস্থাপনের পরিকল্পনা করছে। Ars Technica-র মন্তব্যের অনুরোধের জবাব Google বা OpenAI কেউই দেয়নি।

CEO Denis Shilov বলেছেন, এই ফলাফল উদ্বেগজনক, কারণ একই দুর্বলতা হ্যাকিংয়ের মতো অন্যান্য ক্ষতিকর AI আচরণ আটকাতে হালনাগাদ করা প্রতিরক্ষাকেও প্রভাবিত করতে পারে। কোম্পানির মূল বার্তা হলো, শীর্ষ ল্যাবগুলোর AI নিরাপত্তা প্রতিরক্ষা তারা যতটা স্বীকার করে, তার চেয়ে দুর্বল।

Sicherheitsforscher warnen, dass KI-generierte explizite Inhalte weitgehend unkontrolliert kursieren, während Regulierungsbehörden wenig unternehmen, um dies zu stoppen. Eine von Google mitverfasste Studie über Internetnutzer in den Vereinigten Staaten, Australien und dem Vereinigten Königreich ergab, dass solche nicht einvernehmlichen Inhalte häufig über private Nachrichten geteilt oder in privaten Clouds gespeichert werden, wo sie seltener erkannt oder gemeldet werden. Die Forscher kamen zu dem Schluss, dass der entscheidendste Ansatzpunkt weiterhin die schädlichen KI-Werkzeuge sind, mit denen gefälschte sexuelle Bilder erstellt werden.

Red-Teaming-Tests der letzten Monate deuten darauf hin, dass die führenden Bildgeneratoren von Google und OpenAI beim Blockieren expliziter Ausgaben schlechter werden könnten, je leistungsfähiger sie sind. White Circle, eine gemeinnützige Public-Benefit-Corporation, die von leitenden Führungskräften und Forschenden von Anthropic, DeepMind, Hugging Face und OpenAI unterstützt wird, hat Alarm geschlagen. In einem im vergangenen Monat veröffentlichten Preprint legten die Forschenden Schwachstellen in den Schutzmechanismen von DALL·E 3, Nano Banana 2 von Google und GPT-Image-2 offen. Mit handelsüblichen Werkzeugen und API-Aufrufen umgingen sie die Sicherheitsfilter und erzeugten in etwa 13 Prozent der Fälle explizite Inhalte, eine Umgehungsquote, die sie als die höchste aller Methoden beschreiben, die nach demselben Maßstab getestet wurden.

White Circle berichtet außerdem, dass die neueren Modelle ChatGPT Images 2.5 und Nano Banana 2.1 "deutlich leichter zu knacken" sind als ihre Vorgänger. Das Unternehmen plant, seine Angriffspipeline als Open Source zu veröffentlichen und die Forschung im November auf der NeurIPS-Konferenz 2026 vorzustellen. Weder Google noch OpenAI haben auf Anfragen von Ars Technica zur Stellungnahme reagiert.

CEO Denis Shilov sagte, die Ergebnisse seien besorgniserregend, weil dieselbe Schwachstelle auch Abwehrmechanismen betreffen könnte, die gerade aktualisiert werden, um anderes schädliches KI-Verhalten wie Hacking zu blockieren. Die zentrale Botschaft des Unternehmens lautet, dass die KI-Sicherheitsvorkehrungen führender Labore schwächer sind, als diese einräumen.

Investigadores de seguridad advierten que el contenido explícito generado por IA se está difundiendo en gran medida sin control, mientras los reguladores hacen poco para detenerlo. Un estudio coescrito por Google sobre usuarios de internet en Estados Unidos, Australia y el Reino Unido descubrió que este tipo de contenido no consentido suele compartirse a través de mensajes privados o almacenarse en nubes privadas, donde es menos probable que se detecte o se denuncie. Los investigadores concluyeron que el punto de intervención más crítico sigue siendo las herramientas de IA dañinas que se usan para crear imágenes sexuales falsas.

Las pruebas de red teaming realizadas en los últimos meses sugieren que los principales generadores de imágenes de Google y OpenAI podrían estar empeorando a la hora de bloquear resultados explícitos a medida que se vuelven más capaces. White Circle, una corporación de beneficio público respaldada por altos directivos e investigadores de Anthropic, DeepMind, Hugging Face y OpenAI, ha dado la voz de alarma. En un preprint publicado el mes pasado, sus investigadores expusieron fallos en las barreras de seguridad de DALL·E 3, Nano Banana 2 de Google y GPT-Image-2. Utilizando herramientas listas para usar y llamadas a la API, eludieron los filtros de seguridad y generaron contenido explícito aproximadamente el 13 por ciento de las veces, una tasa de elusión que describen como la más alta de cualquier método probado bajo el mismo estándar.

White Circle también informa de que los modelos más recientes, ChatGPT Images 2.5 y Nano Banana 2.1, son "significativamente más vulnerables" que sus predecesores. La empresa planea publicar en código abierto su proceso de ataque y presentar la investigación en la conferencia NeurIPS 2026 en noviembre. Ni Google ni OpenAI respondieron a las solicitudes de comentarios de Ars Technica.

El CEO Denis Shilov afirmó que los hallazgos son preocupantes porque la misma debilidad podría afectar a las defensas que se están actualizando para bloquear otros comportamientos dañinos de la IA, como la piratería informática. El mensaje clave de la empresa es que las defensas de seguridad de la IA en los principales laboratorios son más débiles de lo que reconocen.

Des chercheurs en sécurité alertent sur la propagation largement incontrôlée des contenus explicites générés par l'IA, tandis que les régulateurs font peu pour l'arrêter. Une étude co-écrite par Google, portant sur des internautes aux États-Unis, en Australie et au Royaume-Uni, révèle que ces contenus non consentis sont souvent partagés via des messages privés ou stockés dans des clouds privés, où ils sont moins susceptibles d'être détectés ou signalés. Les chercheurs concluent que le point d'intervention le plus critique reste les outils d'IA nuisibles utilisés pour créer de fausses images à caractère sexuel.

Les tests de red-teaming menés ces derniers mois suggèrent que les principaux générateurs d'images de Google et d'OpenAI pourraient devenir moins efficaces pour bloquer les résultats explicites à mesure qu'ils gagnent en capacités. White Circle, une société à mission publique soutenue par des dirigeants et chercheurs seniors d'Anthropic, DeepMind, Hugging Face et OpenAI, a tiré la sonnette d'alarme. Dans une prépublication parue le mois dernier, ses chercheurs ont mis au jour des failles dans les garde-fous de DALL·E 3, de Nano Banana 2 de Google et de GPT-Image-2. En utilisant des outils du commerce et des appels d'API, ils ont contourné les filtres de sécurité et généré des contenus explicites environ 13 % du temps, un taux de contournement qu'ils décrivent comme le plus élevé de toutes les méthodes testées selon la même norme.

White Circle indique également que les modèles plus récents, ChatGPT Images 2.5 et Nano Banana 2.1, sont "nettement plus faciles à faire céder" que leurs prédécesseurs. L'entreprise prévoit de publier en open source sa chaîne d'attaque et de présenter ses travaux à la conférence NeurIPS 2026 en novembre. Ni Google ni OpenAI n'ont répondu aux demandes de commentaires d'Ars Technica.

Le PDG Denis Shilov a déclaré que ces résultats sont préoccupants, car la même faiblesse pourrait affecter les défenses en cours de mise à jour pour bloquer d'autres comportements nuisibles de l'IA, comme le piratage. Le message clé de l'entreprise est que les défenses de sécurité de l'IA des grands laboratoires sont plus faibles qu'ils ne le reconnaissent.

सुरक्षा शोधकर्ताओं ने चेतावनी दी है कि AI से बनी अश्लील सामग्री बड़े पैमाने पर बिना किसी जाँच के फैल रही है, जबकि नियामक इसे रोकने के लिए बहुत कम कर रहे हैं। Google की सह-लेखन वाली एक स्टडी में अमेरिका, ऑस्ट्रेलिया और यूनाइटेड किंगडम के इंटरनेट उपयोगकर्ताओं को देखा गया, जिसमें पाया गया कि इस तरह की बिना सहमति वाली सामग्री अक्सर निजी संदेशों के ज़रिए साझा की जाती है या निजी क्लाउड में संग्रहीत होती है, जहाँ इसका पता लगने या रिपोर्ट होने की संभावना कम होती है। शोधकर्ताओं ने निष्कर्ष निकाला कि सबसे महत्वपूर्ण हस्तक्षेप बिंदु अब भी वे हानिकारक AI टूल हैं जिनसे नकली यौन तस्वीरें बनाई जाती हैं।

हाल के महीनों में किए गए रेड-टीमिंग परीक्षणों से संकेत मिलता है कि Google और OpenAI के प्रमुख इमेज जनरेटर, अधिक सक्षम होने के साथ-साथ अश्लील आउटपुट को रोकने में कमज़ोर होते जा रहे हैं। White Circle, एक सार्वजनिक हित वाली कंपनी है, जिसे Anthropic, DeepMind, Hugging Face और OpenAI के वरिष्ठ नेताओं और शोधकर्ताओं का समर्थन प्राप्त है। इसने चेतावनी जारी की है। पिछले महीने प्रकाशित एक प्रीप्रिंट में, इसके शोधकर्ताओं ने DALL·E 3, Google के Nano Banana 2 और GPT-Image-2 के सुरक्षा उपायों में खामियाँ उजागर कीं। तैयार टूल और API कॉल का उपयोग करके उन्होंने सुरक्षा फ़िल्टर को बायपास किया और लगभग 13 प्रतिशत मामलों में अश्लील सामग्री तैयार की। उनके अनुसार, यह बायपास दर समान मानक के तहत परखे गए किसी भी तरीके में सबसे अधिक है।

White Circle का यह भी कहना है कि नए मॉडल, ChatGPT Images 2.5 और Nano Banana 2.1, अपने पूर्ववर्तियों की तुलना में "काफी आसानी से तोड़े जा सकते" हैं। कंपनी अपनी अटैक पाइपलाइन को ओपन-सोर्स करने और नवंबर में NeurIPS 2026 सम्मेलन में यह शोध प्रस्तुत करने की योजना बना रही है। Ars Technica के टिप्पणी के अनुरोधों का न Google ने और न ही OpenAI ने जवाब दिया।

CEO Denis Shilov ने कहा कि ये निष्कर्ष चिंताजनक हैं, क्योंकि यही कमज़ोरी उन सुरक्षा उपायों को भी प्रभावित कर सकती है जिन्हें हैकिंग जैसे अन्य हानिकारक AI व्यवहारों को रोकने के लिए अपडेट किया जा रहा है। कंपनी का मुख्य संदेश यह है कि प्रमुख लैब्स के AI सुरक्षा उपाय उतने मज़बूत नहीं हैं जितना वे स्वीकार करते हैं।

Peneliti keamanan memperingatkan bahwa konten eksplisit buatan AI menyebar hampir tanpa pengawasan, sementara regulator berbuat sedikit untuk menghentikannya. Sebuah studi yang ditulis bersama oleh Google terhadap pengguna internet di Amerika Serikat, Australia, dan Inggris menemukan bahwa konten tanpa persetujuan semacam ini sering dibagikan melalui pesan pribadi atau disimpan di cloud pribadi, tempat konten tersebut lebih kecil kemungkinannya untuk terdeteksi atau dilaporkan. Para peneliti menyimpulkan bahwa titik intervensi paling krusial tetap pada alat AI berbahaya yang digunakan untuk membuat gambar seksual palsu.

Red-teaming dalam beberapa bulan terakhir menunjukkan bahwa generator gambar terkemuka dari Google dan OpenAI mungkin semakin buruk dalam memblokir keluaran eksplisit seiring dengan meningkatnya kemampuan mereka. White Circle, sebuah perusahaan manfaat publik yang didukung oleh para pemimpin senior dan peneliti dari Anthropic, DeepMind, Hugging Face, dan OpenAI, telah membunyikan alarm. Dalam sebuah preprint yang diterbitkan bulan lalu, para peneliti mereka mengungkap celah pada sistem pengaman DALL·E 3, Nano Banana 2 dari Google, dan GPT-Image-2. Dengan menggunakan alat siap pakai dan panggilan API, mereka melewati filter keamanan dan menghasilkan konten eksplisit sekitar 13 persen dari waktu, tingkat pelewatan yang mereka sebut sebagai yang tertinggi di antara semua metode yang diuji dengan standar yang sama.

White Circle juga melaporkan bahwa model yang lebih baru, ChatGPT Images 2.5 dan Nano Banana 2.1, "jauh lebih mudah dibobol" dibandingkan pendahulunya. Perusahaan berencana membuka sumber pipeline serangannya dan mempresentasikan penelitian tersebut di konferensi NeurIPS 2026 pada November. Baik Google maupun OpenAI tidak menanggapi permintaan komentar dari Ars Technica.

CEO Denis Shilov mengatakan temuan ini mengkhawatirkan karena kelemahan yang sama dapat memengaruhi pertahanan yang sedang diperbarui untuk memblokir perilaku AI berbahaya lainnya, seperti peretasan. Pesan utama perusahaan adalah bahwa pertahanan keamanan AI di laboratorium terkemuka lebih lemah daripada yang mereka akui.

安全研究者は、AIが生成する露骨なコンテンツがほぼ野放しに広がっている一方で、規制当局がそれを止めるためにほとんど何もしていないと警告しています。米国、オーストラリア、英国のインターネット利用者を対象にGoogleが共同執筆した研究では、こうした同意のないコンテンツはプライベートメッセージで共有されたり、非公開のクラウドに保存されたりすることが多く、検出や通報をされにくいことがわかりました。研究者らは、最も重要な介入ポイントは、偽の性的画像の作成に使われる有害なAIツールそのものであるとの結論に達しています。

近months のレッドチーミングのテストでは、Googleや OpenAI の主要な画像生成AIは、能力が高まるにつれ、露骨な出力をブロックする能力がむしろ低下している可能性が示唆されています。Anthropic、DeepMind、Hugging Face、OpenAI の上級幹部や研究者が支援する公益法人 White Circle が警鐘を鳴らしました。先月公開されたプレプリントで、同社の研究者は DALL·E 3、GoogleのNano Banana 2、GPT-Image-2 の安全対策の欠陥を明らかにしました。市販のツールやAPIの呼び出しを使い、安全フィルターを回避して、約 13% の確率で露骨なコンテンツを生成したといいます。同じ基準でテストされた全手法の中で最も高い回避率だと説明しています。

White Circle はまた、新しいモデルである ChatGPT Images 2.5 と Nano Banana 2.1 は、前世代よりも「著しく破られやすい」と報告しています。同社は攻撃パイプラインをオープンソース化し、11月のNeurIPS 2026で研究を発表する計画です。Ars Technica からのコメント依頼には、GoogleもOpenAIも応じていません。

CEOの Denis Shilov は、同じ弱点がハッキングなど他の有害なAI行動を阻止するために更新されている防御にも影響しうるため、この結果は懸念すべきものだと述べました。同社の主要なメッセージは、主要ラボのAI安全対策は、彼らが認めている以上に脆弱だということです。

Pesquisadores de segurança alertam que o conteúdo explícito gerado por IA está se espalhando em grande parte sem controle, enquanto os reguladores fazem pouco para impedi-lo. Um estudo coescrito pelo Google com usuários da internet nos Estados Unidos, na Austrália e no Reino Unido descobriu que esse conteúdo não consensual costuma ser compartilhado por meio de mensagens privadas ou armazenado em nuvens privadas, onde é menos provável que seja detectado ou denunciado. Os pesquisadores concluíram que o ponto de intervenção mais crítico continua sendo as ferramentas de IA nocivas usadas para criar imagens sexuais falsas.

Testes de red-teaming realizados nos últimos meses sugerem que os principais geradores de imagens do Google e da OpenAI podem estar piorando em bloquear saídas explícitas à medida que se tornam mais capazes. A White Circle, uma corporação de benefício público apoiada por líderes seniores e pesquisadores da Anthropic, DeepMind, Hugging Face e OpenAI, soou o alarme. Em um preprint publicado no mês passado, seus pesquisadores expuseram falhas nas salvaguardas do DALL·E 3, do Nano Banana 2 do Google e do GPT-Image-2. Usando ferramentas prontas e chamadas de API, contornaram os filtros de segurança e geraram conteúdo explícito cerca de 13% das vezes, uma taxa de contorno que descrevem como a mais alta entre todos os métodos testados sob o mesmo padrão.

A White Circle também relata que os modelos mais novos, ChatGPT Images 2.5 e Nano Banana 2.1, são "significativamente mais fáceis de quebrar" do que seus antecessores. A empresa planeja disponibilizar seu pipeline de ataque como código aberto e apresentar a pesquisa na conferência NeurIPS 2026, em novembro. Nem o Google nem a OpenAI responderam aos pedidos de comentário da Ars Technica.

O CEO Denis Shilov disse que as descobertas são preocupantes porque a mesma fragilidade pode afetar as defesas que estão sendo atualizadas para bloquear outros comportamentos nocivos da IA, como invasões de sistemas. A mensagem principal da empresa é que as defesas de segurança de IA dos principais laboratórios são mais fracas do que eles reconhecem.

Исследователи безопасности предупреждают, что откровенный контент, созданный ИИ, распространяется почти без контроля, а регуляторы почти ничего не делают, чтобы это остановить. Исследование, написанное в соавторстве с Google и охватившее интернет-пользователей в США, Австралии и Великобритании, показало, что такой контент без согласия часто передаётся через личные сообщения или хранится в закрытых облачных хранилищах, где его труднее обнаружить или пожаловаться на него. Исследователи пришли к выводу, что самой важной точкой вмешательства остаются вредоносные ИИ-инструменты, используемые для создания поддельных откровенных изображений.

Тестирование методом red-teaming, проведённое в последние месяцы, показывает, что ведущие генераторы изображений от Google и OpenAI могут хуже блокировать откровенные результаты по мере роста своих возможностей. White Circle, компания с статусом public benefit corporation, поддерживаемая старшими руководителями и исследователями из Anthropic, DeepMind, Hugging Face и OpenAI, забила тревогу. В препринте, опубликованном в прошлом месяце, её исследователи выявили уязвимости в защитных механизмах DALL·E 3, Nano Banana 2 от Google и GPT-Image-2. Используя готовые инструменты и вызовы API, они обходили фильтры безопасности и генерировали откровенный контент примерно в 13 процентах случаев. По их словам, это наивысший показатель обхода среди всех методов, протестированных по тому же стандарту.

White Circle также сообщает, что более новые модели, ChatGPT Images 2.5 и Nano Banana 2.1, «значительно легче взломать», чем их предшественников. Компания планирует открыть исходный код своего конвейера атак и представить исследование на конференции NeurIPS 2026 в ноябре. Ни Google, ни OpenAI не ответили на запросы Ars Technica о комментарии.

Гендиректор Денис Шилов заявил, что результаты вызывают тревогу, поскольку та же слабость может затронуть защиту, которая обновляется для блокировки других вредоносных действий ИИ, например хакерских атак. Главный посыл компании: системы безопасности ИИ у ведущих лабораторий слабее, чем они признают.

安全研究人员警告，AI生成的露骨内容正在大范围传播且缺乏有效管控，而监管机构几乎没有采取行动去阻止。一项由谷歌参与撰写的研究调查了美国、澳大利亚和英国的互联网用户，发现此类未经同意的内容常通过私人消息分享，或存储在私人云端，这些地方更不易被发现或举报。研究人员认为，最关键的干预点仍然是用于制造虚假性图像的有害AI工具。

近几个月的红队测试表明，谷歌和OpenAI的领先图像生成器在能力不断提升的同时，屏蔽露骨输出的能力可能反而在下降。White Circle是一家公益性公司，其背后有来自Anthropic、DeepMind、Hugging Face和OpenAI的高级管理人员和研究人员的支持，该公司已发出警报。在上个月发布的一份预印本论文中，其研究人员揭露了DALL·E 3、谷歌的Nano Banana 2和GPT-Image-2安全防护机制中的漏洞。他们使用现成的工具和API调用绕过了安全过滤器，约13%的情况下生成了露骨内容，该绕过率据他们描述是同等标准下所测试的所有方法中最高的。

White Circle还报告称，较新的模型ChatGPT Images 2.5和Nano Banana 2.1比其前代产品“明显更易被攻破”。该公司计划开源其攻击流程，并于11月在NeurIPS 2026大会上公布这项研究。谷歌和OpenAI均未回应Ars Technica的置评请求。

CEO Denis Shilov表示，这些发现令人担忧，因为同样的弱点可能影响正在更新的、用于阻止其他有害AI行为（如黑客攻击）的防御机制。该公司的核心观点是，领先实验室的AI安全防御比它们所承认的更为薄弱。