يستكشف المؤلف، وهو طالب فيزياء سابق، ما إذا كانت المحولات (transformers) تميز بنية الفقرات عن ترتيب الرموز (tokens) البسيط. تستخدم ترميزات الموضع القياسية مثل RoPE أو ALiBi مؤشراً واحداً، مما قد يفقد المعلومات الهرمية. صمم المؤلف hRoPE، وهو ترميز موضعي دوراني هرمي يخصص قنوات مستقلة لمؤشرات الفقرة والجملة والرمز. هذا يسمح للنموذج بتلقي إشارات هيكلية صريحة دون تغيير تسلسل الرموز. درب المؤلف نماذج متطابقة مع ضوابط: rand_axial يستخدم تسميات فقرات عشوائية، و period_axial يستخدم شبكة دورية. تعزل هذه الضوابط ما إذا كان النموذج يستفيد من معلومات هيكلية حقيقية مقابل مجرد إحداثيات إضافية أو ارتباط بالمسافة. يختبر التجربة ما إذا كان إعطاء المحولات إحداثيات فقرات صريحة يغير سلوك الانتباه، مما قد يكشف عن هندسة منحنية لتمثيل النص تتجاوز الترتيب الخطي البسيط.