El autor, un exestudiante de física, explora si los transformers distinguen la estructura de párrafos del orden simple de tokens. Las codificaciones posicionales estándar como RoPE o ALiBi usan un solo índice, lo que puede perder información jerárquica. El autor diseñó hRoPE, una codificación posicional rotatoria jerárquica que asigna canales independientes para índices de párrafo, oración y token.

Esto permite que el modelo reciba señales estructurales explícitas sin alterar la secuencia de tokens. El autor entrenó modelos emparejados con controles: rand_axial usa etiquetas de párrafo aleatorias, y period_axial usa una cuadrícula periódica. Estos aíslan si el modelo se beneficia de información estructural real versus meras coordenadas extra o correlación con la distancia.

El experimento prueba si dar a los transformers coordenadas de párrafo explícitas cambia el comportamiento de atención, revelando potencialmente una geometría curvada de la representación de texto más allá del orden lineal simple.