Artikel ini menyajikan langkah-langkah awal menuju reverse engineering model bahasa transformer melalui interpretabilitas mekanis. Saat model seperti GPT-3, LaMDA, Codex, Meena, dan Gopher meningkatkan skala, sifat terbuka mereka menciptakan risiko perilaku merugikan yang tidak terduga. Interpretabilitas mekanis bertujuan untuk mereverse-engineer komputasi terperinci, mirip dengan reverse engineering biner menjadi kode sumber, yang berpotensi memberikan pendekatan sistematis untuk masalah keamanan.

Penulis meneliti transformer hanya perhatian dengan dua lapis atau kurang, berlawanan dengan 96 lapis GPT-3 yang bergantian antara blok perhatian dan MLP. Dengan mengkonseptualisasikan operasi transformer dalam kerangka kerja yang secara matematis setara, mereka memperoleh pemahaman yang signifikan tentang operasi internal. Temuan utama meliputi: transformer lapisan nol memodelkan statistik bigram yang dapat diakses langsung dari bobot; model satu lapis adalah kumpulan model bigram dan "skip-trigram" (sekuensi seperti "A… B C") dengan tabel yang dapat diakses langsung; dan "kepala induksi" tertentu menjelaskan pembelajaran kontekstual dalam model kecil, hanya berkembang dalam model dengan setidaknya dua lapis perhatian.

Kerangka ini mencakup konsep seperti bobot virtual, aliran residual sebagai saluran komunikasi, kepala perhatian aditif independen, trik ekspansi jalur, dan analisis sirkuit QK/OV. Meskipun belum diterapkan pada model yang lebih besar dalam artikel pertama ini, pekerjaan yang akan datang menunjukkan bahwa kerangka ini dan kepala induksi tetap relevan secara parsial untuk model yang lebih besar, meskipun reverse engineering penuh masih jauh.

Entitas kunci: Perusahaan: GPT-3, LaMDA, Codex, Meena, Gopher

Pertanyaan umum: Apa itu kepala induksi dan mengapa mereka penting?

Kepala induksi adalah kepala perhatian tertentu yang menjelaskan pembelajaran kontekstual dalam model transformer kecil. Mereka hanya berkembang dalam model dengan setidaknya dua lapis perhatian, menunjukkan dasar mekanis bagaimana transformer belajar menyalin dan melengkapi pola dari konteks.

FAQ Q: Apa itu kepala induksi dan mengapa mereka penting?

FAQ A: Kepala induksi adalah kepala perhatian tertentu yang menjelaskan pembelajaran kontekstual dalam model transformer kecil. Mereka hanya berkembang dalam model dengan setidaknya dua lapis perhatian, menunjukkan dasar mekanis bagaimana transformer belajar menyalin dan melengkapi pola dari konteks.