Minta chatbot memberikan angka acak antara 1 dan 100, dan jawabannya jarang tersebar merata. Model bahasa berulang kali lebih menyukai beberapa nilai tertentu, dan kebiasaan ini berdampak nyata ketika pilihan model dimaksudkan untuk melindungi sesuatu.
Analisis ini memandang persoalan tersebut dari sudut keamanan: jika sebuah model memilih angka yang menjaga sebuah rahasia, berapa banyak tebakan yang dibutuhkan penyerang? Alih-alih menghitung jawaban dari banyak kali pengambilan sampel, penulis membaca langsung probabilitas yang diberikan model untuk setiap nilai dari 1 sampai 100 dari logit-nya. Dari 100 probabilitas tersebut, analisis menghitung bit keacakan dan jumlah tebakan yang diharapkan untuk membobol pilihan itu. Model dasar dan versi yang telah disetel untuk mengikuti instruksi dibandingkan secara berdampingan untuk melihat apakah kebiasaan ini berasal dari pralatih atau pascalatih.
Temuan utamanya cukup mencolok. Dengan prompt teks biasa, model berparameter 1,5 miliar yang telah disetel untuk instruksi memilih 47 sekitar tiga dari empat kali. Dengan prompt yang disusun ulang, model itu tetap memilih 47 lebih dari sepertiga waktu.
Studi sebelumnya juga mencatat pola yang sama. Satu studi pengambilan sampel terhadap enam model dan tujuh bahasa melaporkan favorit seperti 37, 47, dan 73, serta mengaitkan bias ini dengan kecenderungan manusia. Perbandingan informal tahun 2022 terhadap model OpenAI menemukan model dasar yang lebih seragam dan model yang disetel dengan favorit yang sangat menonjol. Penelitian tentang tahap penyetelan halus juga menemukan bahwa pembelajaran penguatan dari umpan balik manusia secara signifikan mengurangi keragaman keluaran.
Karena titik pemeriksaan terbuka kini memungkinkan siapa pun mengulangi pembacaan ini, penulis dapat menelusuri pilihan tersebut melalui setiap tahap pascalatih. Bagi siapa pun yang mengandalkan nilai "acak" hasil model, kesimpulannya jelas: favorit yang dapat diprediksi bisa dibobol dengan cepat.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing