ChatGPT dan chatbot AI lain memberikan manfaat, tetapi menimbulkan risiko privasi dan keamanan yang signifikan. Berbeda dengan obrolan dengan dokter, avokat, atau terapis, obrolan dengan AI tidak memiliki hak istimewa dan dapat ditangguh, diindeks, atau diekspos. CEO OpenAI Sam Altman telah memperingatan bahwa pengadilan dapat memaksa perusahaan menyerahkan obrolan. Dengan lebih dari 900 juta pengguna mingguan, potensi penyalahgunaan tinggi. Risiko utamanya melibatkan saran hukum, medis, dan keuangan, di mana halusinasi AI dan retensi data dapat menyebabkan kerugian nyata. Pengguna harus memahami bahwa apa pun yang diketik ke dalam sistem ini membuat jejak audit permanen yang dapat diakses oleh pihak ketiga.

Profesional hukum dan pihak litigasi semakin menjadi korban kesalahan AI. Seorang peneliti telah mendokumentasikan lebih dari 2.000 kasus pengadilan yang terhambat karena kutipan yang dibuat oleh ChatGPT