Makalah 2023 oleh Berglund dan rekan [1] berargumen bahwa model bahasa tidak mendapatkan ingatan simetris fakta secara gratis. Contoh pembukaannya: seseorang yang belajar bahwa Valentina Tereshkova adalah wanita pertama yang bepergian ke luar angkasa juga dapat menjawab “Siapa wanita pertama yang bepergian ke luar angkasa?” Itu tampak sepele. Tetapi model yang dilatih pada kalimat pertama, di mana nama muncul sebelum deskripsi, mungkin belajar menjawab “Siapa Valentina Tereshkova?” dan masih gagal ketika deskripsi muncul terlebih dahulu. Penulis menyebutnya Kutukan Pembalikan.
Bukti mereka berasal dari dua tempat. Mereka menyetel halus GPT-3 dan Llama-1 pada fakta-fakta buatan dan menemukan bahwa akurasi hampir nol setiap kali pertanyaan datang dalam urutan kebalikan dari kalimat pelatihan. Dan mereka menguji GPT-4 pada selebriti nyata: ia menyebutkan orang tua seorang selebriti sekitar 79% dari waktu, tetapi menyebutkan selebriti ketika diberikan orang tua hanya sekitar 33% dari waktu (pasangan klasik adalah “Siapa ibu Tom Cruise?” versus “Siapa putra Mary Lee Pfeiffer?”).
Penulis juga menunjukkan bahwa kegagalan bukanlah kurangnya logika: jika “A adalah B” ada dalam prompt, GPT-4 dapat menyimpulkan “B adalah A” dengan baik. Masalah muncul ketika fakta dipelajari selama pelatihan dan harus diingat kemudian dari sisi lain. Itulah yang membuatnya mengejutkan, dan itulah yang model mainan di bawah ini memungkinkan kita lihat secara langsung.
Entitas kunci: Perusahaan: Towards Data Science | Orang: Berglund, Valentina Tereshkova, Tom Cruise, Mary Lee Pfeiffer
Pertanyaan umum: Apa itu Kutukan Pembalikan?
Kutukan Pembalikan adalah fenomena di mana model bahasa dapat mengingat fakta dalam arah yang dipelajarinya tetapi gagal ketika ditanya sebaliknya, meskipun kedua pernyataan secara logis simetris.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing