Автор, бывший студент-физик, исследует, отличают ли трансформеры структуру параграфов от простого порядка токенов. Стандартные позиционные кодировки вроде RoPE или ALiBi используют единственный индекс, что может терять иерархическую информацию. Автор разработал hRoPE, иерархическое вращающееся позиционное кодирование, которое назначает независимые каналы для индексов параграфа, предложения и токена. Это позволяет модели получать явные структурные сигналы без изменения последовательности токенов. Автор обучил подобранные модели с контролями: rand_axial использует случайные метки параграфов, а period_axial использует периодическую сетку. Они изолируют, получает ли модель выгоду от реальной структурной информации против простых дополнительных координат или корреляции с расстоянием. Эксперимент проверяет, меняет ли задание трансформерам явных координат параграфов поведение внимания, потенциально раскрывая искривленную геометрию представления текста за пределами простого линейного порядка.