作者是一名前物理学学生，探索Transformer是否能区分段落结构与简单的Token顺序。标准的位置编码如RoPE或ALiBi使用单一索引，可能会丢失层级信息。作者设计了hRoPE，一种分层旋转位置编码，为段落、句子和Token索引分配独立通道。这使得模型能够在不改变Token序列的情况下接收显式的结构线索。作者训练了带有对照组的匹配模型：rand_axial使用随机段落标签，period_axial使用周期性网格。这些对照隔离了模型是否从真实的结构信息中获益，而非仅仅来自额外坐标或与距离的相关性。实验测试给予Transformer显式的段落坐标是否会改变注意力行为，可能揭示出超越简单线性顺序的文本表示弯曲几何。