Pesquisadores de segurança alertam que o conteúdo explícito gerado por IA está se espalhando em grande parte sem controle, enquanto os reguladores fazem pouco para impedi-lo. Um estudo coescrito pelo Google com usuários da internet nos Estados Unidos, na Austrália e no Reino Unido descobriu que esse conteúdo não consensual costuma ser compartilhado por meio de mensagens privadas ou armazenado em nuvens privadas, onde é menos provável que seja detectado ou denunciado. Os pesquisadores concluíram que o ponto de intervenção mais crítico continua sendo as ferramentas de IA nocivas usadas para criar imagens sexuais falsas.
Testes de red-teaming realizados nos últimos meses sugerem que os principais geradores de imagens do Google e da OpenAI podem estar piorando em bloquear saídas explícitas à medida que se tornam mais capazes. A White Circle, uma corporação de benefício público apoiada por líderes seniores e pesquisadores da Anthropic, DeepMind, Hugging Face e OpenAI, soou o alarme. Em um preprint publicado no mês passado, seus pesquisadores expuseram falhas nas salvaguardas do DALL·E 3, do Nano Banana 2 do Google e do GPT-Image-2. Usando ferramentas prontas e chamadas de API, contornaram os filtros de segurança e geraram conteúdo explícito cerca de 13% das vezes, uma taxa de contorno que descrevem como a mais alta entre todos os métodos testados sob o mesmo padrão.
A White Circle também relata que os modelos mais novos, ChatGPT Images 2.5 e Nano Banana 2.1, são "significativamente mais fáceis de quebrar" do que seus antecessores. A empresa planeja disponibilizar seu pipeline de ataque como código aberto e apresentar a pesquisa na conferência NeurIPS 2026, em novembro. Nem o Google nem a OpenAI responderam aos pedidos de comentário da Ars Technica.
O CEO Denis Shilov disse que as descobertas são preocupantes porque a mesma fragilidade pode afetar as defesas que estão sendo atualizadas para bloquear outros comportamentos nocivos da IA, como invasões de sistemas. A mensagem principal da empresa é que as defesas de segurança de IA dos principais laboratórios são mais fracas do que eles reconhecem.
Fonte: Ars Technica · Resumido por HeadlinesBriefing