ジョセフ・フーリエが1822年に発表した熱の伝播に関する研究は、複雑なパターンを正弦関数と余弦関数の組み合わせとして表すという数学的な道具をもたらしました。それから約2世紀後、同じ関数が現代の言語モデルの基盤であるTransformerアーキテクチャの内部に現れています。
この2つの分野は一見かけ離れているように見えます。フーリエは物理的な物体全体の温度を研究しましたが、言語モデルは系列に並んだトークンを処理します。それでも、正弦関数と余弦関数はどちらにとっても有用な構造を与えます。位置を構造化された数値パターンに変換し、Transformerが語順が意味にどう影響するかを学習するために使えるようにするのです。波は位置情報を提供し、学習によってモデルがそれをどう使うかを身につけます。
語順は、単語だけでは得られない情報を運びます。同じ単語からなる2つの文でも、誰が誰に作用するかによって意味が変わることがあります。ソフトウェアも同様で、income - expensesとexpenses - incomeは同じ変数と演算子を含みますが、結果は異なります。そのため、単語が順序付きのリストとして入力される場合でも、言語モデルは位置情報にアクセスする必要があります。
この記事では、語順がどのように符号化されるか、注意機構がその順序をどう扱うか、正弦関数と余弦関数がどのように位置の信号を供給するかを説明します。また、学習がこの位置情報をどのように利用するか、そしてRoPE（回転位置埋め込み法）の仕組みについても取り上げます。
出典: ByteByteGo · 要約：HeadlinesBriefing