লেখক, একজন সাবেক পদার্থবিজ্ঞান শিক্ষার্থী, অন্বেষণ করেন যে কী ট্রান্সফরমার প্যারাগ্রাফ কাঠামোকে সাধারণ টোকেন ক্রম থেকে আলাদা করে। RoPE বা ALiBi-এর মতো стандарт পজিশনাল এনকোডিং একক সূচক ব্যবহার করে, যা শ্রেণিবদ্ধ তথ্য হারাতে পারে। লেখক hRoPE ডিজাইন করেছেন, একটি শ্রেণিবদ্ধ রোটারি পজিশনাল এনকোডিং যা প্যারাগ্রাফ, বাক্য এবং টোকেন সূচকের জন্য স্বতন্ত্র চ্যানেল বরাদ্দ করে। এটি মডেলকে টোকেন ক্রম পরিবর্তন না করেই স্পষ্ট কাঠামোগত সংকেত গ্রহণ করতে দেয়। লেখক নিয়ন্ত্রণের সাথে মিলে যাওয়া মডেল প্রশিক্ষণ দিয়েছেন: rand_axial যাদুকরী প্যারাগ্রাফ লেবেল ব্যবহার করে, এবং period_axial একটি পর্যায়ক্রমিক গ্রিড ব্যবহার করে। এগুলি পৃথক করে যে মডেল কি আসল কাঠামোগত তথ্য থেকে লাভ পায় বনাম শুধু অতিরিক্ত স্থানাঙ্ক বা দুরত্বের সাথে সম্পর্ক। পরীক্ষাটি পরীক্ষা করে যে ট্রান্সফরমারকে স্পষ্ট প্যারাগ্রাফ স্থানাঙ্ক দেওয়া কি মনোযোগ আচরণ পরিবর্তন করে, সম্ভবত সাধারণ রৈখিক ক্রমের বাইরে পাঠ্য উপস্থাপনার একটি বক্র জ্যামিতি প্রকাশ করে।