Keamanan AI memiliki masalah tembakan ramah. Teknologi yang membuktikan dari mana teks AI berasal melemahkan teknologi yang memeriksa apakah itu benar. Watermarking, atau menyematkan tanda tangan tersembunyi dalam teks yang dihasilkan, digunakan untuk meningkatkan transparansi pada aplikasi AI (Pasal 50 Undang-Undang AI UE di Eropa; regulasi pelabelan AI di Tiongkok). Selain itu, deteksi halusinasi mencoba menandai bagian jawaban yang dibuat oleh model. Regulator mendorong keduanya, tetapi tabrakan tersembunyi ada di dalam model AI antara transparansi dan tanggung jawab.

LLM menghitung distribusi probabilitas atas token berikutnya. Terkadang distribusi itu tajam, seperti setelah "Ibu kota Prancis adalah", di mana "Paris" dipaksa. Terkadang datar, dengan beberapa kelanjutan yang sama-sama masuk akal. Kedataran disebut entropi. Kedua teknologi hidup di posisi entropi tinggi. Watermark teks memihak lemparan koin menggunakan kunci rahasia, seperti dalam skema Kirchenbauer dan rekan-rekannya tahun 2023, yang membagi kosakata menjadi daftar hijau dan merah. Teks terbaca alami tetapi mengandung lebih banyak token hijau.

Detektor dengan kunci menghitung token hijau dan menghitung ketidakmungkinan. Synth ID-Text Google DeepMind, dalam model Gemini, menggunakan pengambilan sampel turnamen. Skema bebas distorsi mengatur bias sehingga distribusi keluaran rata-rata tidak berubah. Tetapi watermark hanya dapat mendorong di mana ada ruang. Pada posisi entropi rendah, bias berarti kata yang salah dan runtuhnya kualitas. Tabrakan tersembunyi di internal model tetapi memiliki konsekuensi nyata bagi keamanan AI.

Entitas kunci: Perusahaan: Google DeepMind | Orang: Kirchenbauer