लेखक, एक पूर्व भौतिकी छात्र, खोजते हैं कि क्या ट्रांसफॉर्मर पैराग्राफ़ संरचना को साधारण टोकन क्रम से अलग करते हैं। RoPE या ALiBi जैसे मानक स्थितीय एन्कोडिंग एकल इंडेक्स का उपयोग करते हैं, जो श्रेणीबद्ध जानकारी खो सकते हैं। लेखक ने hRoPE डिज़ाइन किया, एक श्रेणीबद्ध रोटरी स्थितीय एन्कोडिंग जो पैराग्राफ़, वाक्य और टोकन इंडेक्स के लिए स्वतंत्र चैनल असाइन करता है। यह मॉडल को टोकन अनुक्रम को बदले बिना स्पष्ट संरचनात्मक संकेत प्राप्त करने की अनुमति देता है। लेखक ने नियंत्रण के साथ मिलान किए गए मॉडल प्रशिक्षित किए: rand_axial यादृच्छिक पैराग्राफ़ लेबल का उपयोग करता है, और period_axial एक आवर्ती ग्रिड का उपयोग करता है। ये अलग करते हैं कि क्या मॉडल वास्तविक संरचनात्मक जानकारी से लाभान्वित होता है बनाम केवल अतिरिक्त निर्देशांक या दूरी के साथ सहसंबंध। प्रयोग परीक्षण करता है कि क्या ट्रांसफॉर्मर को स्पष्ट पैराग्राफ़ निर्देशांक देने से ध्यान व्यवहार बदलता है, संभावित रूप से साधारण रैखिक क्रम से परे पाठ प्रतिनिधित्व की एक वक्र ज्यामिति प्रकट करता है।