A segurança da IA tem um problema de fogo amigo. A tecnologia que prova de onde veio o texto de IA está enfraquecendo a tecnologia que verifica se ele é verdadeiro. A marca d'água, ou incorporar uma assinatura oculta no texto gerado, é usada para aumentar a transparência em aplicações de IA (Artigo 50 da Lei de IA da UE na Europa; regulamentação de rotulagem de IA na China). Além disso, a detecção de alucinações tenta sinalizar partes de uma resposta que o modelo inventou. Os reguladores estão pressionando ambos, mas existe uma colisão oculta dentro dos modelos de IA entre transparência e responsabilidade.

Um LLM calcula uma distribuição de probabilidade sobre o próximo token. Às vezes essa distribuição é nítida, como depois de "A capital da França é", onde "Paris" é forçado. Às vezes é plana, com múltiplas continuações igualmente plausíveis. A planicidade é chamada de entropia. Ambas as tecnologias vivem em posições de alta entropia. Uma marca d'água de texto enviesa os lançamentos de moeda usando uma chave secreta, como no esquema de 2023 de Kirchenbauer e colegas, que divide o vocabulário em listas verdes e vermelhas. O texto lê naturalmente, mas contém mais tokens verdes.

Um detector com a chave conta tokens verdes e calcula improbabilidade. O Synth ID-Text do Google DeepMind, nos modelos Gemini, usa amostragem por torneio. Esquemas sem distorção organizam o viés para que a distribuição de saída não mude em média. Mas uma marca d'água só pode empurrar onde há espaço. Em posições de baixa entropia, o viés significaria palavras erradas e colapso de qualidade. A colisão está oculta nos internals do modelo, mas tem consequências reais para a segurança da IA.

Entidades-chave: Empresas: Google DeepMind | Pessoas: Kirchenbauer