Penulis, seorang mantan mahasiswa fisika, mengeksplorasi apakah transformer membedakan struktur paragraf dari urutan token sederhana. Encoding posisi standar seperti RoPE atau ALiBi menggunakan indeks tunggal, yang mungkin kehilangan informasi hierarkis. Penulis merancang hRoPE, encoding posisi rotasional hierarkis yang menetapkan saluran independen untuk indeks paragraf, kalimat, dan token.

Hal ini memungkinkan model menerima sinyal struktural eksplisit tanpa mengubah urutan token. Penulis melatih model yang cocok dengan kontrol: rand_axial menggunakan label paragraf acak, dan period_axial menggunakan grid periodik. Ini mengisolasi apakah model mendapat manfaat dari informasi struktural nyata versus sekadar koordinat tambahan atau korelasi dengan jarak.

Eksperimen menguji apakah memberikan transformer koordinat paragraf eksplisit mengubah perilaku attention, berpotensi mengungkapkan geometri melengkung dari representasi teks di luar urutan linier sederhana.