L'auteur, un ancien étudiant en physique, explore si les transformers distinguent la structure des paragraphes du simple ordre des tokens. Les encodages positionnels standards comme RoPE ou ALiBi utilisent un seul index, ce qui peut perdre l'information hiérarchique. L'auteur a conçu hRoPE, un encodage positionnel rotatoire hiérarchique qui attribue des canaux indépendants pour les indices de paragraphe, de phrase et de token.

Cela permet au modèle de recevoir des indices structurels explicites sans altérer la séquence de tokens. L'auteur a entraîné des modèles appariés avec des contrôles : rand_axial utilise des étiquettes de paragraphe aléatoires, et period_axial utilise une grille périodique. Ceux-ci isolent si le modèle bénéficie d'une information structurelle réelle versus de simples coordonnées supplémentaires ou d'une corrélation avec la distance.

L'expérience teste si donner aux transformers des coordonnées de paragraphe explicites change le comportement d'attention, révélant potentiellement une géométrie courbée de la représentation du texte au-delà du simple ordre linéaire.