Your LLM Has a Curved Space of Paragraphs

The author, a former physics student, explores whether transformers distinguish paragraph structure from simple token order. Standard positional encodings like RoPE or ALiBi use a single index, which may lose hierarchical information. The author designed hRoPE, a hierarchical rotary positional encoding that assigns independent channels for paragraph, sentence, and token indices.

This allows the model to receive explicit structural cues without altering the token sequence. The author trained matched models with controls: rand_axial uses random paragraph labels, and period_axial uses a periodic grid. These isolate whether the model benefits from real structural information versus mere extra coordinates or correlation with distance.

The experiment tests if giving transformers explicit paragraph coordinates changes attention behavior, potentially revealing a curved geometry of text representation beyond simple linear order.

يستكشف المؤلف، وهو طالب فيزياء سابق، ما إذا كانت المحولات (transformers) تميز بنية الفقرات عن ترتيب الرموز (tokens) البسيط. تستخدم ترميزات الموضع القياسية مثل RoPE أو ALiBi مؤشراً واحداً، مما قد يفقد المعلومات الهرمية. صمم المؤلف hRoPE، وهو ترميز موضعي دوراني هرمي يخصص قنوات مستقلة لمؤشرات الفقرة والجملة والرمز. هذا يسمح للنموذج بتلقي إشارات هيكلية صريحة دون تغيير تسلسل الرموز. درب المؤلف نماذج متطابقة مع ضوابط: rand_axial يستخدم تسميات فقرات عشوائية، و period_axial يستخدم شبكة دورية. تعزل هذه الضوابط ما إذا كان النموذج يستفيد من معلومات هيكلية حقيقية مقابل مجرد إحداثيات إضافية أو ارتباط بالمسافة. يختبر التجربة ما إذا كان إعطاء المحولات إحداثيات فقرات صريحة يغير سلوك الانتباه، مما قد يكشف عن هندسة منحنية لتمثيل النص تتجاوز الترتيب الخطي البسيط.

লেখক, একজন সাবেক পদার্থবিজ্ঞান শিক্ষার্থী, অন্বেষণ করেন যে কী ট্রান্সফরমার প্যারাগ্রাফ কাঠামোকে সাধারণ টোকেন ক্রম থেকে আলাদা করে। RoPE বা ALiBi-এর মতো стандарт পজিশনাল এনকোডিং একক সূচক ব্যবহার করে, যা শ্রেণিবদ্ধ তথ্য হারাতে পারে। লেখক hRoPE ডিজাইন করেছেন, একটি শ্রেণিবদ্ধ রোটারি পজিশনাল এনকোডিং যা প্যারাগ্রাফ, বাক্য এবং টোকেন সূচকের জন্য স্বতন্ত্র চ্যানেল বরাদ্দ করে। এটি মডেলকে টোকেন ক্রম পরিবর্তন না করেই স্পষ্ট কাঠামোগত সংকেত গ্রহণ করতে দেয়। লেখক নিয়ন্ত্রণের সাথে মিলে যাওয়া মডেল প্রশিক্ষণ দিয়েছেন: rand_axial যাদুকরী প্যারাগ্রাফ লেবেল ব্যবহার করে, এবং period_axial একটি পর্যায়ক্রমিক গ্রিড ব্যবহার করে। এগুলি পৃথক করে যে মডেল কি আসল কাঠামোগত তথ্য থেকে লাভ পায় বনাম শুধু অতিরিক্ত স্থানাঙ্ক বা দুরত্বের সাথে সম্পর্ক। পরীক্ষাটি পরীক্ষা করে যে ট্রান্সফরমারকে স্পষ্ট প্যারাগ্রাফ স্থানাঙ্ক দেওয়া কি মনোযোগ আচরণ পরিবর্তন করে, সম্ভবত সাধারণ রৈখিক ক্রমের বাইরে পাঠ্য উপস্থাপনার একটি বক্র জ্যামিতি প্রকাশ করে।

Der Autor, ein ehemaliger Physikstudent, untersucht, ob Transformer die Absatzstruktur von der einfachen Token-Reihenfolge unterscheiden. Standard-Positionscodierungen wie RoPE oder ALiBi verwenden einen einzelnen Index, was hierarchische Informationen verlieren kann. Der Autor entwarf hRoPE, eine hierarchische rotatorische Positionscodierung, die unabhängige Kanäle für Absatz-, Satz- und Token-Indizes zuweist.

Dies ermöglicht dem Modell, explizite strukturelle Hinweise zu erhalten, ohne die Token-Sequenz zu verändern. Der Autor trainierte abgeglichene Modelle mit Kontrollen: rand_axial verwendet zufällige Absatz-Labels, und period_axial verwendet ein periodisches Gitter. Diese isolieren, ob das Modell von echter struktureller Information profitiert versus bloßen zusätzlichen Koordinaten oder Korrelation mit Distanz.

Das Experiment testet, ob das Geben expliziter Absatz-Koordinaten an Transformer das Aufmerksamkeitsverhalten ändert, was potenziell eine gekrümmte Geometrie der Textrepräsentation jenseits der einfachen linearen Reihenfolge offenbart.

El autor, un exestudiante de física, explora si los transformers distinguen la estructura de párrafos del orden simple de tokens. Las codificaciones posicionales estándar como RoPE o ALiBi usan un solo índice, lo que puede perder información jerárquica. El autor diseñó hRoPE, una codificación posicional rotatoria jerárquica que asigna canales independientes para índices de párrafo, oración y token.

Esto permite que el modelo reciba señales estructurales explícitas sin alterar la secuencia de tokens. El autor entrenó modelos emparejados con controles: rand_axial usa etiquetas de párrafo aleatorias, y period_axial usa una cuadrícula periódica. Estos aíslan si el modelo se beneficia de información estructural real versus meras coordenadas extra o correlación con la distancia.

El experimento prueba si dar a los transformers coordenadas de párrafo explícitas cambia el comportamiento de atención, revelando potencialmente una geometría curvada de la representación de texto más allá del orden lineal simple.

L'auteur, un ancien étudiant en physique, explore si les transformers distinguent la structure des paragraphes du simple ordre des tokens. Les encodages positionnels standards comme RoPE ou ALiBi utilisent un seul index, ce qui peut perdre l'information hiérarchique. L'auteur a conçu hRoPE, un encodage positionnel rotatoire hiérarchique qui attribue des canaux indépendants pour les indices de paragraphe, de phrase et de token.

Cela permet au modèle de recevoir des indices structurels explicites sans altérer la séquence de tokens. L'auteur a entraîné des modèles appariés avec des contrôles : rand_axial utilise des étiquettes de paragraphe aléatoires, et period_axial utilise une grille périodique. Ceux-ci isolent si le modèle bénéficie d'une information structurelle réelle versus de simples coordonnées supplémentaires ou d'une corrélation avec la distance.

L'expérience teste si donner aux transformers des coordonnées de paragraphe explicites change le comportement d'attention, révélant potentiellement une géométrie courbée de la représentation du texte au-delà du simple ordre linéaire.

लेखक, एक पूर्व भौतिकी छात्र, खोजते हैं कि क्या ट्रांसफॉर्मर पैराग्राफ़ संरचना को साधारण टोकन क्रम से अलग करते हैं। RoPE या ALiBi जैसे मानक स्थितीय एन्कोडिंग एकल इंडेक्स का उपयोग करते हैं, जो श्रेणीबद्ध जानकारी खो सकते हैं। लेखक ने hRoPE डिज़ाइन किया, एक श्रेणीबद्ध रोटरी स्थितीय एन्कोडिंग जो पैराग्राफ़, वाक्य और टोकन इंडेक्स के लिए स्वतंत्र चैनल असाइन करता है। यह मॉडल को टोकन अनुक्रम को बदले बिना स्पष्ट संरचनात्मक संकेत प्राप्त करने की अनुमति देता है। लेखक ने नियंत्रण के साथ मिलान किए गए मॉडल प्रशिक्षित किए: rand_axial यादृच्छिक पैराग्राफ़ लेबल का उपयोग करता है, और period_axial एक आवर्ती ग्रिड का उपयोग करता है। ये अलग करते हैं कि क्या मॉडल वास्तविक संरचनात्मक जानकारी से लाभान्वित होता है बनाम केवल अतिरिक्त निर्देशांक या दूरी के साथ सहसंबंध। प्रयोग परीक्षण करता है कि क्या ट्रांसफॉर्मर को स्पष्ट पैराग्राफ़ निर्देशांक देने से ध्यान व्यवहार बदलता है, संभावित रूप से साधारण रैखिक क्रम से परे पाठ प्रतिनिधित्व की एक वक्र ज्यामिति प्रकट करता है।

Penulis, seorang mantan mahasiswa fisika, mengeksplorasi apakah transformer membedakan struktur paragraf dari urutan token sederhana. Encoding posisi standar seperti RoPE atau ALiBi menggunakan indeks tunggal, yang mungkin kehilangan informasi hierarkis. Penulis merancang hRoPE, encoding posisi rotasional hierarkis yang menetapkan saluran independen untuk indeks paragraf, kalimat, dan token.

Hal ini memungkinkan model menerima sinyal struktural eksplisit tanpa mengubah urutan token. Penulis melatih model yang cocok dengan kontrol: rand_axial menggunakan label paragraf acak, dan period_axial menggunakan grid periodik. Ini mengisolasi apakah model mendapat manfaat dari informasi struktural nyata versus sekadar koordinat tambahan atau korelasi dengan jarak.

Eksperimen menguji apakah memberikan transformer koordinat paragraf eksplisit mengubah perilaku attention, berpotensi mengungkapkan geometri melengkung dari representasi teks di luar urutan linier sederhana.

著者は元物理学の学生で、トランスフォーマーが段落構造を単純なトークン順序から区別できるかどうかを探求しています。RoPEやALiBiのような標準的な位置エンコーディングは単一のインデックスを使用するため、階層情報が失われる可能性があります。著者はhRoPEを設計しました。これは段落、文、トークンのインデックスに独立したチャネルを割り当てる階層的回転位置エンコーディングです。これにより、モデルはトークン列を変更せずに明示的な構造的手がかりを受け取ることができます。著者は対照実験としてマッチしたモデルを訓練しました：rand_axialはランダムな段落ラベルを使用し、period_axialは周期的なグリッドを使用します。これらは、モデルが実際の構造情報から利益を得ているのか、単なる追加座標や距離との相関から利益を得ているのかを分離します。実験は、トランスフォーマーに明示的な段落座標を与えることでアテンションの振る舞いが変わるかどうかをテストし、単純な線形順序を超えたテキスト表現の曲がった幾何学を明らかにする可能性があります。

O autor, um ex-estudante de física, explora se transformers distinguem a estrutura de parágrafos da ordem simples de tokens. Codificações posicionais padrão como RoPE ou ALiBi usam um único índice, o que pode perder informação hierárquica. O autor projetou hRoPE, uma codificação posicional rotacional hierárquica que atribui canais independentes para índices de parágrafo, frase e token.

Isso permite que o modelo receba pistas estruturais explícitas sem alterar a sequência de tokens. O autor treinou modelos pareados com controles: rand_axial usa rótulos de parágrafo aleatórios, e period_axial usa uma grade periódica. Estes isolam se o modelo beneficia de informação estrutural real versus meras coordenadas extras ou correlação com distância.

O experimento testa se dar aos transformers coordenadas de parágrafo explícitas muda o comportamento de atenção, potencialmente revelando uma geometria curvada da representação de texto além da simples ordem linear.

Автор, бывший студент-физик, исследует, отличают ли трансформеры структуру параграфов от простого порядка токенов. Стандартные позиционные кодировки вроде RoPE или ALiBi используют единственный индекс, что может терять иерархическую информацию. Автор разработал hRoPE, иерархическое вращающееся позиционное кодирование, которое назначает независимые каналы для индексов параграфа, предложения и токена. Это позволяет модели получать явные структурные сигналы без изменения последовательности токенов. Автор обучил подобранные модели с контролями: rand_axial использует случайные метки параграфов, а period_axial использует периодическую сетку. Они изолируют, получает ли модель выгоду от реальной структурной информации против простых дополнительных координат или корреляции с расстоянием. Эксперимент проверяет, меняет ли задание трансформерам явных координат параграфов поведение внимания, потенциально раскрывая искривленную геометрию представления текста за пределами простого линейного порядка.

作者是一名前物理学学生，探索Transformer是否能区分段落结构与简单的Token顺序。标准的位置编码如RoPE或ALiBi使用单一索引，可能会丢失层级信息。作者设计了hRoPE，一种分层旋转位置编码，为段落、句子和Token索引分配独立通道。这使得模型能够在不改变Token序列的情况下接收显式的结构线索。作者训练了带有对照组的匹配模型：rand_axial使用随机段落标签，period_axial使用周期性网格。这些对照隔离了模型是否从真实的结构信息中获益，而非仅仅来自额外坐标或与距离的相关性。实验测试给予Transformer显式的段落坐标是否会改变注意力行为，可能揭示出超越简单线性顺序的文本表示弯曲几何。