Hacker manipulieren KI-Systeme einschließlich ChatGPT, Gemini und Google AI Overview über eine massive Desinformationskampagne, um Nutzer zu Phishing-Fallen zu führen, die als legitime Kundensupport-Kontakte getarnt sind. Angreifer fluten das Web mit optimiertem Inhalt — Beiträge, PDFs, Bewertungen und gefälschte Supportseiten — mithilfe von Generative Engine Optimization (GEO)-Techniken, um die KI dazu zu bringen, betrügerische Telefonnummern, E-Mails und Login-Seiten großer Marken zu zitieren. Zu den Zielen gehören Delta, Lufthansa, Qatar Airways, Chase, Bank of America, Airbnb und TripAdvisor, unter hunderten anderen.

In einem Beispiel präsentierte Google AI Overview eine von Angreifern kontrollierte Telefonnummer als den offiziellen Lufthansa-Kontakt. Dies ist nicht nur theoretisch; automatisierte Kampagnen sind in freier Wildbahn aktiv und arbeiten in einem Maßstab, den traditionelle Takedowns nicht erreichen können. Laut Exploding Topics überprüfen 92% der Nutzer KI-Antworten nicht, wodurch der Angriff das blinde Vertrauen in KI-Ausgaben ausnutzt.

Forscher haben ein Erkennungssystem entwickelt, um KI-Antworten über Plattformen hinweg zu analysieren, Quellen nach GEO-Manipulation zu bewerten und falsche Kontaktdetails zu identifizieren. Dies stellt einen Wandel im Social Engineering dar: Die neuen Ziele sind KI-Agenten, die das Web durchsuchen, nicht Menschen direkt. Dies ist Teil eins einer Blogserie über KI-Desinformationsangriffe.