Karya Joseph Fourier tahun 1822 tentang penyebaran panas memperkenalkan alat matematika: merepresentasikan pola yang rumit sebagai kombinasi fungsi sinus dan kosinus. Hampir dua abad kemudian, fungsi yang sama muncul di dalam arsitektur transformer yang menjadi dasar model bahasa modern.
Kedua bidang ini tampak berjauhan. Fourier mempelajari suhu di sepanjang sebuah benda fisik, sedangkan model bahasa memproses token yang tersusun dalam urutan. Namun, fungsi sinus dan kosinus memberikan struktur yang berguna bagi keduanya. Fungsi tersebut mengubah posisi menjadi pola numerik yang terstruktur, yang dapat digunakan transformer untuk mempelajari bagaimana urutan kata memengaruhi makna. Gelombang memberikan informasi posisi, dan pelatihan mengajarkan model cara menggunakannya.
Urutan kata membawa informasi yang tidak dapat diberikan oleh kata-kata itu sendiri. Dua kalimat dengan kata yang sama dapat memiliki arti berbeda tergantung pada siapa yang melakukan tindakan terhadap siapa. Perangkat lunak bekerja dengan cara yang sama: income - expenses dan expenses - income berisi variabel dan operator yang sama, tetapi menghasilkan hasil yang berbeda. Karena itu, model bahasa memerlukan akses ke informasi posisi meskipun kata-kata tiba sebagai daftar yang berurutan.
Artikel ini menjelaskan bagaimana urutan kata dienkode, bagaimana mekanisme perhatian memahami urutan tersebut, dan bagaimana fungsi sinus dan kosinus menyediakan sinyal posisi. Artikel ini juga membahas bagaimana pelatihan memanfaatkan informasi posisi tersebut dan cara kerja RoPE, metode rotary position embedding.
Sumber: ByteByteGo · Diringkas oleh HeadlinesBriefing