Según CNN, el ejército estadounidense evitó por poco abordar un barco chino basándose en un informe de inteligencia "enteramente falso" generado con asistencia de IA. El informe erróneo, presentado por un analista del Mando de Operaciones Especiales de EE. UU., afirmaba que el buque chino transportaba componentes del programa de armas nucleares a través de Oriente Medio.

Cuatro fuentes familiarizadas con el incidente confirmaron el incidente. EE. UU. se preparaba para interceptar y abordar el barco con apoyo aéreo antes de descubrir que un chatbot utilizado en el análisis había "identificado inexactamente el material que transportaba el barco".

Una fuente dijo a CNN que el fiasco impulsado por IA "casi inició una guerra". El analista usó un chatbot para analizar informes de inteligencia sobre el manifiesto del barco, que fusionaba inteligencia de fuentes abiertas con inteligencia de señales secreta. El informe resultante casi desencadenó una cadena desastrosa de eventos.

Este incidente representa uno de los ejemplos más consecuentes de alucinación de IA que socava la elaboración de informes profesionales. Desde que "alucinar" se convirtió en la palabra del año 2023 del Diccionario Cambridge, numerosos profesionales, incluidos periodistas, investigadores, jueces, médicos y departamentos de policía, han sido engañados por herramientas de IA que fabrican información. A pesar de los esfuerzos para prevenir alucinaciones, los investigadores sugieren que puede ser imposible detener por completo a los LLM de generar contenido falso.

El Departamento de Defensa lanzó recientemente una "estrategia de aceleración de IA" para hacer que los datos estén disponibles entre sistemas para la explotación de IA.