Menurut CNN, militer AS poros menghindari naik ke kapal China berdasarkan laporan intelijen "sepenuhnya palsu" yang dihasilkan dengan bantuan AI. Laporan keliru, dikirimkan oleh analis Komando Operasi Khusus AS, mengklaim kapal China mengangkut komponen program senjata nuklir lewat Timur Tengah. Empat sumber yang familiar dengan insiden mengonfirmasi near-miss ini.

AS menyiapkan untuk mengintersep dan naik ke kapal dengan dukungan udara sebelum menemukan bahwa chatbot yang digunakan dalam analisis "tidak akurat mengidentifikasi materi yang dibawa kapal". Satu sumber berkata ke CNN bahwa kegagalan bertenaga AI ini "hampir memulai perang". Analis menggunakan chatbot untuk menganalisis laporan intelijen mengenai manifes kapal, yang memadukan open-source intelligence dengan signals intelligence rahasia.

Laporan yang dihasilkan hampir memicu rantai peristiwa bencana. Insiden ini mewakili salah satu contoh lebih konsekuensial dari halusinasi AI yang merusak pelaporan profesional. Sejak "halusinasi" jadi kata tahun 2023 kamus Cambridge, banyak profesional termasuk jurnalis, peneliti, hakim, dokter, dan departemen polisi terpedaya oleh alat AI yang memfabrikasi informasi.

Meski upaya mencegah halusinasi, peneliti menyarankan mungkin mustahil sepenuhnya menghentikan LLM menghasilkan konten palsu. Departemen Pertahanan baru-baru ini meluncurkan "strategi percepatan AI" untuk membuat data tersedia lintas sistem untuk eksploitasi AI.