जोसेफ़ फ़ूरियर के 1822 के ऊष्मा प्रसार पर काम ने एक गणितीय उपकरण पेश किया: जटिल पैटर्न को साइन और कोसाइन फ़ंक्शन के संयोजनों के रूप में दर्शाना। लगभग दो सदी बाद, वही फ़ंक्शन आधुनिक भाषा मॉडलों के पीछे की ट्रांसफ़ॉर्मर आर्किटेक्चर के अंदर दिखाई देते हैं।
ये दो क्षेत्र दूर लगते हैं। फ़ूरियर ने एक भौतिक वस्तु में तापमान का अध्ययन किया, जबकि भाषा मॉडल एक क्रम में व्यवस्थित टोकन को संसाधित करता है। फिर भी, साइन और कोसाइन फ़ंक्शन दोनों को एक उपयोगी संरचना देते हैं। वे स्थितियों को संरचित संख्यात्मक पैटर्न में बदलते हैं, जिनका उपयोग ट्रांसफ़ॉर्मर यह सीखने के लिए कर सकता है कि शब्द क्रम अर्थ को कैसे प्रभावित करता है। तरंगें स्थिति की जानकारी देती हैं, और प्रशिक्षण मॉडल को सिखाता है कि उसका उपयोग कैसे करना है।
शब्द क्रम ऐसी जानकारी रखता है जो अकेले शब्द नहीं दे सकते। एक ही शब्दों वाले दो वाक्यों का अर्थ इस पर निर्भर कर सकता है कि कौन किस पर क्रिया करता है। सॉफ़्टवेयर भी इसी तरह काम करता है: income - expenses और expenses - income में वही चर और ऑपरेटर होते हैं, पर परिणाम अलग होते हैं। इसलिए एक भाषा मॉडल को स्थिति संबंधी जानकारी की आवश्यकता होती है, भले ही शब्द क्रमबद्ध सूची के रूप में आएं।
यह लेख बताता है कि शब्द क्रम कैसे एन्कोड किया जाता है, ध्यान तंत्र उस क्रम को कैसे समझता है, और साइन व कोसाइन फ़ंक्शन स्थिति के संकेत कैसे देते हैं। इसमें यह भी शामिल है कि प्रशिक्षण इस स्थिति की जानकारी का उपयोग कैसे करता है, और RoPE, एक रोटरी पोज़ीशन एम्बेडिंग विधि, कैसे काम करती है।
स्रोत: ByteByteGo · HeadlinesBriefing द्वारा सारांशित