सुरक्षा शोधकर्ताओं ने चेतावनी दी है कि AI से बनी अश्लील सामग्री बड़े पैमाने पर बिना किसी जाँच के फैल रही है, जबकि नियामक इसे रोकने के लिए बहुत कम कर रहे हैं। Google की सह-लेखन वाली एक स्टडी में अमेरिका, ऑस्ट्रेलिया और यूनाइटेड किंगडम के इंटरनेट उपयोगकर्ताओं को देखा गया, जिसमें पाया गया कि इस तरह की बिना सहमति वाली सामग्री अक्सर निजी संदेशों के ज़रिए साझा की जाती है या निजी क्लाउड में संग्रहीत होती है, जहाँ इसका पता लगने या रिपोर्ट होने की संभावना कम होती है। शोधकर्ताओं ने निष्कर्ष निकाला कि सबसे महत्वपूर्ण हस्तक्षेप बिंदु अब भी वे हानिकारक AI टूल हैं जिनसे नकली यौन तस्वीरें बनाई जाती हैं।
हाल के महीनों में किए गए रेड-टीमिंग परीक्षणों से संकेत मिलता है कि Google और OpenAI के प्रमुख इमेज जनरेटर, अधिक सक्षम होने के साथ-साथ अश्लील आउटपुट को रोकने में कमज़ोर होते जा रहे हैं। White Circle, एक सार्वजनिक हित वाली कंपनी है, जिसे Anthropic, DeepMind, Hugging Face और OpenAI के वरिष्ठ नेताओं और शोधकर्ताओं का समर्थन प्राप्त है। इसने चेतावनी जारी की है। पिछले महीने प्रकाशित एक प्रीप्रिंट में, इसके शोधकर्ताओं ने DALL·E 3, Google के Nano Banana 2 और GPT-Image-2 के सुरक्षा उपायों में खामियाँ उजागर कीं। तैयार टूल और API कॉल का उपयोग करके उन्होंने सुरक्षा फ़िल्टर को बायपास किया और लगभग 13 प्रतिशत मामलों में अश्लील सामग्री तैयार की। उनके अनुसार, यह बायपास दर समान मानक के तहत परखे गए किसी भी तरीके में सबसे अधिक है।
White Circle का यह भी कहना है कि नए मॉडल, ChatGPT Images 2.5 और Nano Banana 2.1, अपने पूर्ववर्तियों की तुलना में "काफी आसानी से तोड़े जा सकते" हैं। कंपनी अपनी अटैक पाइपलाइन को ओपन-सोर्स करने और नवंबर में NeurIPS 2026 सम्मेलन में यह शोध प्रस्तुत करने की योजना बना रही है। Ars Technica के टिप्पणी के अनुरोधों का न Google ने और न ही OpenAI ने जवाब दिया।
CEO Denis Shilov ने कहा कि ये निष्कर्ष चिंताजनक हैं, क्योंकि यही कमज़ोरी उन सुरक्षा उपायों को भी प्रभावित कर सकती है जिन्हें हैकिंग जैसे अन्य हानिकारक AI व्यवहारों को रोकने के लिए अपडेट किया जा रहा है। कंपनी का मुख्य संदेश यह है कि प्रमुख लैब्स के AI सुरक्षा उपाय उतने मज़बूत नहीं हैं जितना वे स्वीकार करते हैं।
स्रोत: Ars Technica · HeadlinesBriefing द्वारा सारांशित