著者は元物理学の学生で、トランスフォーマーが段落構造を単純なトークン順序から区別できるかどうかを探求しています。RoPEやALiBiのような標準的な位置エンコーディングは単一のインデックスを使用するため、階層情報が失われる可能性があります。著者はhRoPEを設計しました。これは段落、文、トークンのインデックスに独立したチャネルを割り当てる階層的回転位置エンコーディングです。これにより、モデルはトークン列を変更せずに明示的な構造的手がかりを受け取ることができます。著者は対照実験としてマッチしたモデルを訓練しました：rand_axialはランダムな段落ラベルを使用し、period_axialは周期的なグリッドを使用します。これらは、モデルが実際の構造情報から利益を得ているのか、単なる追加座標や距離との相関から利益を得ているのかを分離します。実験は、トランスフォーマーに明示的な段落座標を与えることでアテンションの振る舞いが変わるかどうかをテストし、単純な線形順序を超えたテキスト表現の曲がった幾何学を明らかにする可能性があります。