Sicherheitsforscher warnen, dass KI-generierte explizite Inhalte weitgehend unkontrolliert kursieren, während Regulierungsbehörden wenig unternehmen, um dies zu stoppen. Eine von Google mitverfasste Studie über Internetnutzer in den Vereinigten Staaten, Australien und dem Vereinigten Königreich ergab, dass solche nicht einvernehmlichen Inhalte häufig über private Nachrichten geteilt oder in privaten Clouds gespeichert werden, wo sie seltener erkannt oder gemeldet werden. Die Forscher kamen zu dem Schluss, dass der entscheidendste Ansatzpunkt weiterhin die schädlichen KI-Werkzeuge sind, mit denen gefälschte sexuelle Bilder erstellt werden.
Red-Teaming-Tests der letzten Monate deuten darauf hin, dass die führenden Bildgeneratoren von Google und OpenAI beim Blockieren expliziter Ausgaben schlechter werden könnten, je leistungsfähiger sie sind. White Circle, eine gemeinnützige Public-Benefit-Corporation, die von leitenden Führungskräften und Forschenden von Anthropic, DeepMind, Hugging Face und OpenAI unterstützt wird, hat Alarm geschlagen. In einem im vergangenen Monat veröffentlichten Preprint legten die Forschenden Schwachstellen in den Schutzmechanismen von DALL·E 3, Nano Banana 2 von Google und GPT-Image-2 offen. Mit handelsüblichen Werkzeugen und API-Aufrufen umgingen sie die Sicherheitsfilter und erzeugten in etwa 13 Prozent der Fälle explizite Inhalte, eine Umgehungsquote, die sie als die höchste aller Methoden beschreiben, die nach demselben Maßstab getestet wurden.
White Circle berichtet außerdem, dass die neueren Modelle ChatGPT Images 2.5 und Nano Banana 2.1 "deutlich leichter zu knacken" sind als ihre Vorgänger. Das Unternehmen plant, seine Angriffspipeline als Open Source zu veröffentlichen und die Forschung im November auf der NeurIPS-Konferenz 2026 vorzustellen. Weder Google noch OpenAI haben auf Anfragen von Ars Technica zur Stellungnahme reagiert.
CEO Denis Shilov sagte, die Ergebnisse seien besorgniserregend, weil dieselbe Schwachstelle auch Abwehrmechanismen betreffen könnte, die gerade aktualisiert werden, um anderes schädliches KI-Verhalten wie Hacking zu blockieren. Die zentrale Botschaft des Unternehmens lautet, dass die KI-Sicherheitsvorkehrungen führender Labore schwächer sind, als diese einräumen.
Quelle: Ars Technica · Zusammengefasst von HeadlinesBriefing