قدّم عمل جوزيف فورييه عام 1822 حول انتشار الحرارة أداة رياضية: تمثيل الأنماط المعقدة كتركيبات من دوال الجيب وجيب التمام. وبعد نحو قرنين، تظهر الدوال نفسها داخل بنية Transformer التي تقوم عليها نماذج اللغة الحديثة.
يبدو الحقلان بعيدين عن بعضهما. درس فورييه درجة الحرارة عبر جسم مادي، بينما تعالج نماذج اللغة رموزاً مرتبة في تسلسل. ومع ذلك، تمنح دوال الجيب وجيب التمام كلا المجالين بنية مفيدة. فهي تحوّل المواضع إلى أنماط عددية منظمة يمكن لـ Transformer أن يستخدمها ليتعلم كيف يؤثر ترتيب الكلمات في المعنى. توفر الموجات معلومات الموضع، ويعلّم التدريب النموذج كيفية استخدامها.
يحمل ترتيب الكلمات معلومات لا تستطيع الكلمات وحدها توفيرها. فقد تحمل جملتان الكلمات نفسها ويختلف معناهما بحسب من يفعل بمن. والبرمجيات تعمل بالطريقة نفسها: فالعبارتان income - expenses وexpenses - income تحتويان على المتغيرات والمعامل نفسهما لكنهما تنتجان نتيجتين مختلفتين. لذلك يحتاج نموذج اللغة إلى معلومات الموضع حتى عندما تصله الكلمات كقائمة مرتبة.
يشرح المقال كيف يُرمَّز ترتيب الكلمات، وكيف تستوعب آلية الانتباه ذلك الترتيب، وكيف تزوّد دوال الجيب وجيب التمام إشارات الموضع. كما يتناول كيفية استفادة التدريب من معلومات الموضع، وكيفية عمل RoPE، وهي طريقة ترميز الموضع الدوّار.
المصدر: ByteByteGo · لخّصه HeadlinesBriefing