Der Autor, ein ehemaliger Physikstudent, untersucht, ob Transformer die Absatzstruktur von der einfachen Token-Reihenfolge unterscheiden. Standard-Positionscodierungen wie RoPE oder ALiBi verwenden einen einzelnen Index, was hierarchische Informationen verlieren kann. Der Autor entwarf hRoPE, eine hierarchische rotatorische Positionscodierung, die unabhängige Kanäle für Absatz-, Satz- und Token-Indizes zuweist.

Dies ermöglicht dem Modell, explizite strukturelle Hinweise zu erhalten, ohne die Token-Sequenz zu verändern. Der Autor trainierte abgeglichene Modelle mit Kontrollen: rand_axial verwendet zufällige Absatz-Labels, und period_axial verwendet ein periodisches Gitter. Diese isolieren, ob das Modell von echter struktureller Information profitiert versus bloßen zusätzlichen Koordinaten oder Korrelation mit Distanz.

Das Experiment testet, ob das Geben expliziter Absatz-Koordinaten an Transformer das Aufmerksamkeitsverhalten ändert, was potenziell eine gekrümmte Geometrie der Textrepräsentation jenseits der einfachen linearen Reihenfolge offenbart.