Laut CNN verhinderte das US-Militär nur knapp das Enteren eines chinesischen Schiffs aufgrund eines "völlig falschen" Geheimdienstberichts, der mit KI-Unterstützung erstellt wurde. Der fehlerhafte Bericht, eingereicht von einem Analysten des US Special Operations Command, behauptete, das chinesische Schiff transportiere Komponenten des Atomwaffenprogramms durch den Nahen Osten. Vier mit dem Vorfall vertraute Quellen bestätigten den Beinahe-Zwischenfall.

Die USA bereiteten sich darauf vor, das Schiff mit Luftunterstützung abzufangen und zu entern, bevor sie entdeckten, dass ein im Analyseprozess verwendeter Chatbot "das Material, das das Schiff transportierte, ungenau identifiziert hatte". Eine Quelle sagte CNN, der von KI getriebene Fehlschlag habe "beinahe einen Krieg ausgelöst". Der Analyst nutzte einen Chatbot, um Geheimdienstberichte zum Schiffsmanifest zu analysieren, das Open-Source-Intelligence mit geheimer Signalaufklärung fusionierte.

Der resultierende Bericht löste beinahe eine katastrophale Ereigniskette aus. Dieser Vorfall stellt eines der folgenreichsten Beispiele dar, wie KI-Halluzinationen professionelle Berichterstattung untergraben. Seit "halluzinieren" zum Wort des Jahres 2023 des Cambridge Dictionary wurde, wurden zahlreiche Fachleute – darunter Journalisten, Forscher, Richter, Ärzte und Polizeibehörden – von KI-Tools in die Irre geführt, die Informationen erfinden.

Trotz Bemühungen, Halluzinationen zu verhindern, legen Forscher nahe, dass es unmöglich sein könnte, LLMs vollständig daran zu hindern, falsche Inhalte zu generieren. Das Verteidigungsministerium hat kürzlich eine "KI-Beschleunigungsstrategie" eingeführt, um Daten systemübergreifend für KI-Nutzung verfügbar zu machen.