Segundo a CNN, o exército dos EUA por pouco não abordou um navio chinês com base em um relatório de inteligência "inteiramente falso" gerado com assistência de IA. O relatório errôneo, apresentado por um analista do Comando de Operações Especiais dos EUA, afirmava que o navio chinês estava transportando componentes do programa de armas nucleares através do Oriente Médio. Quatro fontes familiarizadas com o incidente confirmaram o quase-acidente.

Os EUA estavam se preparando para interceptar e abordar o navio com apoio aéreo antes de descobrir que um chatbot usado na análise havia "identificado imprecisamente o material que o navio transportava". Uma fonte disse à CNN que o fiasco impulsionado por IA "quase iniciou uma guerra". O analista usou um chatbot para analisar relatórios de inteligência sobre o manifesto do navio, que fundia inteligência de fontes abertas com inteligência de sinais secreta.

O relatório resultante quase desencadeou uma cadeia desastrosa de eventos. Este incidente representa um dos exemplos mais consequentes de alucinação de IA minando relatórios profissionais. Desde que "alucinar" se tornou a palavra do ano de 2023 do Dicionário Cambridge, numerosos profissionais, incluindo jornalistas, pesquisadores, juízes, médicos e departamentos de polícia, foram enganados por ferramentas de IA que fabricam informações.

Apesar dos esforços para prevenir alucinações, pesquisadores sugerem que pode ser impossível impedir completamente que LLMs gerem conteúdo falso. O Departamento de Defesa lançou recentemente uma "estratégia de aceleração de IA" para tornar dados disponíveis entre sistemas para exploração de IA.