O autor, um ex-estudante de física, explora se transformers distinguem a estrutura de parágrafos da ordem simples de tokens. Codificações posicionais padrão como RoPE ou ALiBi usam um único índice, o que pode perder informação hierárquica. O autor projetou hRoPE, uma codificação posicional rotacional hierárquica que atribui canais independentes para índices de parágrafo, frase e token.

Isso permite que o modelo receba pistas estruturais explícitas sem alterar a sequência de tokens. O autor treinou modelos pareados com controles: rand_axial usa rótulos de parágrafo aleatórios, e period_axial usa uma grade periódica. Estes isolam se o modelo beneficia de informação estrutural real versus meras coordenadas extras ou correlação com distância.

O experimento testa se dar aos transformers coordenadas de parágrafo explícitas muda o comportamento de atenção, potencialmente revelando uma geometria curvada da representação de texto além da simples ordem linear.