Les hackers manipulent les systèmes d'IA incluant ChatGPT, Gemini et Google AI Overview grâce à une massive campagne de désinformation, dirigeant les utilisateurs vers des pièges de phishing déguisés en contacts légitimes de service client. Les attaquants inondent le web avec du contenu optimisé — publications, PDF, avis et pages de support factices — en utilisant des techniques d'Optimisation du Moteur Génératif (GEO) pour tromper l'IA afin qu'elle cite des numéros de téléphone, des e-mails et des pages de connexion frauduleux pour de grandes marques. Les cibles incluent Delta, Lufthansa, Qatar Airways, Chase, Bank of America, Airbnb et TripAdvisor, parmi des centaines d'autres.

Dans un exemple, Google AI Overview a présenté un numéro de téléphone contrôlé par l'attaquant comme le contact officiel de Lufthansa. Ce n'est pas théorique ; des campagnes automatisées sont actives dans la nature, opérant à une échelle que les suppressions traditionnelles ne peuvent pas égaler. Avec 92% des utilisateurs qui ne vérifient pas les réponses de l'IA selon Exploding Topics, l'attaque exploite la confiance aveugle dans les sorties de l'IA.

Les chercheurs ont construit un système de détection pour analyser les réponses d'IA sur toutes les plateformes, en notant les sources pour la manipulation GEO et en identifiant les détails de contact faux. Cela représente un changement dans l'ingénierie sociale : les nouvelles cibles sont des agents d'IA qui naviguent sur le web, pas directement les humains. Ceci est la partie un d'une série de blogs sur les attaques de désinformation par IA.