Peneliti keamanan memperingatkan bahwa konten eksplisit buatan AI menyebar hampir tanpa pengawasan, sementara regulator berbuat sedikit untuk menghentikannya. Sebuah studi yang ditulis bersama oleh Google terhadap pengguna internet di Amerika Serikat, Australia, dan Inggris menemukan bahwa konten tanpa persetujuan semacam ini sering dibagikan melalui pesan pribadi atau disimpan di cloud pribadi, tempat konten tersebut lebih kecil kemungkinannya untuk terdeteksi atau dilaporkan. Para peneliti menyimpulkan bahwa titik intervensi paling krusial tetap pada alat AI berbahaya yang digunakan untuk membuat gambar seksual palsu.
Red-teaming dalam beberapa bulan terakhir menunjukkan bahwa generator gambar terkemuka dari Google dan OpenAI mungkin semakin buruk dalam memblokir keluaran eksplisit seiring dengan meningkatnya kemampuan mereka. White Circle, sebuah perusahaan manfaat publik yang didukung oleh para pemimpin senior dan peneliti dari Anthropic, DeepMind, Hugging Face, dan OpenAI, telah membunyikan alarm. Dalam sebuah preprint yang diterbitkan bulan lalu, para peneliti mereka mengungkap celah pada sistem pengaman DALL·E 3, Nano Banana 2 dari Google, dan GPT-Image-2. Dengan menggunakan alat siap pakai dan panggilan API, mereka melewati filter keamanan dan menghasilkan konten eksplisit sekitar 13 persen dari waktu, tingkat pelewatan yang mereka sebut sebagai yang tertinggi di antara semua metode yang diuji dengan standar yang sama.
White Circle juga melaporkan bahwa model yang lebih baru, ChatGPT Images 2.5 dan Nano Banana 2.1, "jauh lebih mudah dibobol" dibandingkan pendahulunya. Perusahaan berencana membuka sumber pipeline serangannya dan mempresentasikan penelitian tersebut di konferensi NeurIPS 2026 pada November. Baik Google maupun OpenAI tidak menanggapi permintaan komentar dari Ars Technica.
CEO Denis Shilov mengatakan temuan ini mengkhawatirkan karena kelemahan yang sama dapat memengaruhi pertahanan yang sedang diperbarui untuk memblokir perilaku AI berbahaya lainnya, seperti peretasan. Pesan utama perusahaan adalah bahwa pertahanan keamanan AI di laboratorium terkemuka lebih lemah daripada yang mereka akui.
Sumber: Ars Technica · Diringkas oleh HeadlinesBriefing