Joseph Fouriers Arbeit von 1822 über die Ausbreitung von Wärme führte ein mathematisches Werkzeug ein: die Darstellung komplizierter Muster als Kombinationen von Sinus- und Kosinusfunktionen. Fast zwei Jahrhunderte später tauchen dieselben Funktionen in der Transformer-Architektur auf, die modernen Sprachmodellen zugrunde liegt.
Die beiden Gebiete scheinen weit auseinanderzuliegen. Fourier untersuchte die Temperatur über ein physisches Objekt, während ein Sprachmodell Token verarbeitet, die in einer Sequenz angeordnet sind. Dennoch geben Sinus- und Kosinusfunktionen beiden eine nützliche Struktur. Sie wandeln Positionen in strukturierte numerische Muster um, die ein Transformer nutzen kann, um zu lernen, wie die Wortreihenfolge die Bedeutung beeinflusst. Die Wellen liefern die Positionsinformation, und das Training bringt dem Modell bei, sie zu verwenden.
Die Wortreihenfolge trägt Informationen, die die Wörter allein nicht liefern können. Zwei Sätze mit denselben Wörtern können je nachdem, wer wen betrifft, etwas Unterschiedliches bedeuten. Software funktioniert ähnlich: income - expenses und expenses - income enthalten dieselben Variablen und denselben Operator, liefern aber unterschiedliche Ergebnisse. Ein Sprachmodell braucht daher Zugang zu Positionsinformationen, auch wenn die Wörter als geordnete Liste eintreffen.
Der Artikel erklärt, wie die Wortreihenfolge kodiert wird, wie der Aufmerksamkeitsmechanismus diese Reihenfolge verarbeitet und wie Sinus- und Kosinusfunktionen die Positionssignale liefern. Außerdem behandelt er, wie das Training diese Positionsinformationen nutzt und wie RoPE funktioniert, eine Methode der rotatorischen Positionseinbettung.
Quelle: ByteByteGo · Zusammengefasst von HeadlinesBriefing