Selon CNN, l'armée américaine a failli aborder un navire chinois sur la base d'un rapport de renseignement "entièrement faux" généré avec l'aide de l'IA. Le rapport erroné, soumis par un analyste du Commandement des opérations spéciales des États-Unis, affirmait que le navire chinois transportait des composants du programme d'armes nucléaires à travers le Moyen-Orient. Quatre sources familières de l'incident ont confirmé ce quasi-accident.

Les États-Unis se préparaient à intercepter et aborder le navire avec un appui aérien avant de découvrir qu'un chatbot utilisé dans l'analyse avait "identifié de manière inexacte le matériel que le navire transportait". Une source a déclaré à CNN que ce fiasco alimenté par l'IA "a failli déclencher une guerre". L'analyste a utilisé un chatbot pour analyser des rapports de renseignement concernant le manifeste du navire, qui fusionnait le renseignement open-source avec le renseignement de signaux secret.

Le rapport résultant a failli déclencher une chaîne d'événements désastreuse. Cet incident représente l'un des exemples les plus significatifs d'hallucination d'IA sapant le reporting professionnel. Depuis qu'"halluciner" est devenu le mot de l'année 2023 du dictionnaire Cambridge, de nombreux professionnels, y compris journalistes, chercheurs, juges, médecins et services de police, ont été induits en erreur par des outils d'IA qui fabriquent de l'information.

Malgré les efforts pour prévenir les hallucinations, les chercheurs suggèrent qu'il peut être impossible d'empêcher complètement les LLM de générer du contenu faux. Le Département de la Défense a récemment lancé une "stratégie d'accélération de l'IA" pour rendre les données disponibles entre systèmes pour l'exploitation par l'IA.