How the Math Used in 19th-Century Heat Physics Helps LLMs Understand Sentences

Joseph Fourier's 1822 work on heat spreading introduced a mathematical tool: representing complicated patterns as combinations of sine and cosine functions. Nearly two centuries later, those same functions appear inside the transformer architecture behind modern language models.

The two fields seem far apart. Fourier studied temperature across a physical object, while a language model processes tokens arranged in a sequence. Yet sine and cosine functions give both a useful structure. They turn positions into structured numerical patterns, which a transformer can use to learn how word order affects meaning. The waves supply position information, and training teaches the model how to use it.

Word order carries information the words alone cannot provide. Two sentences with identical words can mean different things depending on who acts on whom. Software works the same way: income - expenses and expenses - income contain the same variables and operator but produce different results. A language model therefore needs access to positional information even when words arrive as an ordered list.

The article explains how word order is encoded, how the attention mechanism makes sense of that order, and how sine and cosine functions supply positional signals. It also covers how training uses this position information and how RoPE, a rotary position embedding method, works.

قدّم عمل جوزيف فورييه عام 1822 حول انتشار الحرارة أداة رياضية: تمثيل الأنماط المعقدة كتركيبات من دوال الجيب وجيب التمام. وبعد نحو قرنين، تظهر الدوال نفسها داخل بنية Transformer التي تقوم عليها نماذج اللغة الحديثة.

يبدو الحقلان بعيدين عن بعضهما. درس فورييه درجة الحرارة عبر جسم مادي، بينما تعالج نماذج اللغة رموزاً مرتبة في تسلسل. ومع ذلك، تمنح دوال الجيب وجيب التمام كلا المجالين بنية مفيدة. فهي تحوّل المواضع إلى أنماط عددية منظمة يمكن لـ Transformer أن يستخدمها ليتعلم كيف يؤثر ترتيب الكلمات في المعنى. توفر الموجات معلومات الموضع، ويعلّم التدريب النموذج كيفية استخدامها.

يحمل ترتيب الكلمات معلومات لا تستطيع الكلمات وحدها توفيرها. فقد تحمل جملتان الكلمات نفسها ويختلف معناهما بحسب من يفعل بمن. والبرمجيات تعمل بالطريقة نفسها: فالعبارتان income - expenses وexpenses - income تحتويان على المتغيرات والمعامل نفسهما لكنهما تنتجان نتيجتين مختلفتين. لذلك يحتاج نموذج اللغة إلى معلومات الموضع حتى عندما تصله الكلمات كقائمة مرتبة.

يشرح المقال كيف يُرمَّز ترتيب الكلمات، وكيف تستوعب آلية الانتباه ذلك الترتيب، وكيف تزوّد دوال الجيب وجيب التمام إشارات الموضع. كما يتناول كيفية استفادة التدريب من معلومات الموضع، وكيفية عمل RoPE، وهي طريقة ترميز الموضع الدوّار.

জোসেফ ফুরিয়ের ১৮২২ সালের তাপ ছড়িয়ে পড়া নিয়ে কাজে একটি গাণিতিক হাতিয়ার উপস্থাপিত হয়েছিল: জটিল প্যাটার্নকে সাইন ও কোসাইন ফাংশনের সমন্বয় হিসেবে প্রকাশ করা। প্রায় দুই শতাব্দী পরে, সেই একই ফাংশনগুলো আধুনিক ভাষা মডেলের পেছনের ট্রান্সফরমার স্থাপত্যের ভেতরে দেখা যায়।

দুটি ক্ষেত্র দূরবর্তী মনে হতে পারে। ফুরিয়ে একটি ভৌত বস্তুজুড়ে তাপমাত্রা অধ্যয়ন করেছিলেন, অন্যদিকে ভাষা মডেল একটি ক্রমে সাজানো টোকেন প্রক্রিয়া করে। তবু সাইন ও কোসাইন ফাংশন দুটোকেই একটি কার্যকর কাঠামো দেয়। তারা অবস্থানকে কাঠামোবদ্ধ সংখ্যাগত প্যাটার্নে রূপান্তর করে, যা ট্রান্সফরমার ব্যবহার করে শিখতে পারে শব্দের ক্রম কীভাবে অর্থকে প্রভাবিত করে। তরঙ্গগুলো অবস্থানের তথ্য দেয়, আর প্রশিক্ষণ মডেলকে শেখায় কীভাবে সেটি ব্যবহার করতে হয়।

শব্দের ক্রম এমন তথ্য বহন করে যা শুধু শব্দগুলো দিতে পারে না। একই শব্দের দুটি বাক্যের অর্থ ভিন্ন হতে পারে, কে কাকে কী করছে তার ওপর নির্ভর করে। সফটওয়্যারও একইভাবে কাজ করে: income - expenses এবং expenses - income-এ একই ভেরিয়েবল ও অপারেটর থাকে, তবু ফল ভিন্ন হয়। তাই শব্দগুলো ক্রমবদ্ধ তালিকা হিসেবে এলেও ভাষা মডেলের অবস্থানগত তথ্য প্রয়োজন।

এই নিবন্ধে ব্যাখ্যা করা হয়েছে শব্দের ক্রম কীভাবে এনকোড করা হয়, মনোযোগ প্রক্রিয়া সেই ক্রম কীভাবে বোঝে, এবং সাইন ও কোসাইন ফাংশন কীভাবে অবস্থানের সংকেত দেয়। এতে আরও আছে প্রশিক্ষণ এই অবস্থানের তথ্য কীভাবে ব্যবহার করে, এবং RoPE, একটি ঘূর্ণনশীল পজিশন এমবেডিং পদ্ধতি, কীভাবে কাজ করে।

Joseph Fouriers Arbeit von 1822 über die Ausbreitung von Wärme führte ein mathematisches Werkzeug ein: die Darstellung komplizierter Muster als Kombinationen von Sinus- und Kosinusfunktionen. Fast zwei Jahrhunderte später tauchen dieselben Funktionen in der Transformer-Architektur auf, die modernen Sprachmodellen zugrunde liegt.

Die beiden Gebiete scheinen weit auseinanderzuliegen. Fourier untersuchte die Temperatur über ein physisches Objekt, während ein Sprachmodell Token verarbeitet, die in einer Sequenz angeordnet sind. Dennoch geben Sinus- und Kosinusfunktionen beiden eine nützliche Struktur. Sie wandeln Positionen in strukturierte numerische Muster um, die ein Transformer nutzen kann, um zu lernen, wie die Wortreihenfolge die Bedeutung beeinflusst. Die Wellen liefern die Positionsinformation, und das Training bringt dem Modell bei, sie zu verwenden.

Die Wortreihenfolge trägt Informationen, die die Wörter allein nicht liefern können. Zwei Sätze mit denselben Wörtern können je nachdem, wer wen betrifft, etwas Unterschiedliches bedeuten. Software funktioniert ähnlich: income - expenses und expenses - income enthalten dieselben Variablen und denselben Operator, liefern aber unterschiedliche Ergebnisse. Ein Sprachmodell braucht daher Zugang zu Positionsinformationen, auch wenn die Wörter als geordnete Liste eintreffen.

Der Artikel erklärt, wie die Wortreihenfolge kodiert wird, wie der Aufmerksamkeitsmechanismus diese Reihenfolge verarbeitet und wie Sinus- und Kosinusfunktionen die Positionssignale liefern. Außerdem behandelt er, wie das Training diese Positionsinformationen nutzt und wie RoPE funktioniert, eine Methode der rotatorischen Positionseinbettung.

El trabajo de Joseph Fourier de 1822 sobre la propagación del calor introdujo una herramienta matemática: representar patrones complicados como combinaciones de funciones seno y coseno. Casi dos siglos después, esas mismas funciones aparecen dentro de la arquitectura Transformer que está detrás de los modelos de lenguaje modernos.

Los dos campos parecen muy alejados. Fourier estudió la temperatura a lo largo de un objeto físico, mientras que un modelo de lenguaje procesa tokens dispuestos en una secuencia. Sin embargo, las funciones seno y coseno ofrecen a ambos una estructura útil. Convierten las posiciones en patrones numéricos estructurados, que un Transformer puede usar para aprender cómo el orden de las palabras afecta el significado. Las ondas proporcionan la información de posición, y el entrenamiento enseña al modelo cómo usarla.

El orden de las palabras aporta información que las palabras por sí solas no pueden proporcionar. Dos oraciones con las mismas palabras pueden significar cosas distintas según quién actúa sobre quién. El software funciona de la misma manera: income - expenses y expenses - income contienen las mismas variables y operador, pero producen resultados diferentes. Por ello, un modelo de lenguaje necesita acceder a información posicional incluso cuando las palabras llegan como una lista ordenada.

El artículo explica cómo se codifica el orden de las palabras, cómo el mecanismo de atención interpreta ese orden y cómo las funciones seno y coseno suministran las señales posicionales. También aborda cómo el entrenamiento utiliza esta información de posición y cómo funciona RoPE, un método de codificación posicional rotatoria.

Le travail de Joseph Fourier de 1822 sur la diffusion de la chaleur a introduit un outil mathématique : représenter des motifs complexes comme des combinaisons de fonctions sinus et cosinus. Près de deux siècles plus tard, ces mêmes fonctions apparaissent au cœur de l'architecture Transformer qui sous-tend les modèles de langage modernes.

Les deux domaines semblent éloignés. Fourier étudiait la température dans un objet physique, tandis qu'un modèle de langage traite des jetons disposés en séquence. Pourtant, les fonctions sinus et cosinus offrent à l'un comme à l'autre une structure utile. Elles transforment les positions en motifs numériques structurés, que un Transformer peut utiliser pour apprendre comment l'ordre des mots influe sur le sens. Les ondes fournissent l'information de position, et l'entraînement apprend au modèle à s'en servir.

L'ordre des mots porte une information que les mots seuls ne peuvent pas fournir. Deux phrases composées des mêmes mots peuvent signifier des choses différentes selon qui agit sur qui. Les logiciels fonctionnent de la même façon : income - expenses et expenses - income contiennent les mêmes variables et le même opérateur, mais donnent des résultats différents. Un modèle de langage a donc besoin d'informations positionnelles, même lorsque les mots arrivent sous la forme d'une liste ordonnée.

L'article explique comment l'ordre des mots est encodé, comment le mécanisme d'attention en exploite l'ordre et comment les fonctions sinus et cosinus fournissent les signaux positionnels. Il aborde aussi la manière dont l'entraînement utilise ces informations de position et le fonctionnement de RoPE, une méthode d'encodage de position par rotation.

जोसेफ़ फ़ूरियर के 1822 के ऊष्मा प्रसार पर काम ने एक गणितीय उपकरण पेश किया: जटिल पैटर्न को साइन और कोसाइन फ़ंक्शन के संयोजनों के रूप में दर्शाना। लगभग दो सदी बाद, वही फ़ंक्शन आधुनिक भाषा मॉडलों के पीछे की ट्रांसफ़ॉर्मर आर्किटेक्चर के अंदर दिखाई देते हैं।

ये दो क्षेत्र दूर लगते हैं। फ़ूरियर ने एक भौतिक वस्तु में तापमान का अध्ययन किया, जबकि भाषा मॉडल एक क्रम में व्यवस्थित टोकन को संसाधित करता है। फिर भी, साइन और कोसाइन फ़ंक्शन दोनों को एक उपयोगी संरचना देते हैं। वे स्थितियों को संरचित संख्यात्मक पैटर्न में बदलते हैं, जिनका उपयोग ट्रांसफ़ॉर्मर यह सीखने के लिए कर सकता है कि शब्द क्रम अर्थ को कैसे प्रभावित करता है। तरंगें स्थिति की जानकारी देती हैं, और प्रशिक्षण मॉडल को सिखाता है कि उसका उपयोग कैसे करना है।

शब्द क्रम ऐसी जानकारी रखता है जो अकेले शब्द नहीं दे सकते। एक ही शब्दों वाले दो वाक्यों का अर्थ इस पर निर्भर कर सकता है कि कौन किस पर क्रिया करता है। सॉफ़्टवेयर भी इसी तरह काम करता है: income - expenses और expenses - income में वही चर और ऑपरेटर होते हैं, पर परिणाम अलग होते हैं। इसलिए एक भाषा मॉडल को स्थिति संबंधी जानकारी की आवश्यकता होती है, भले ही शब्द क्रमबद्ध सूची के रूप में आएं।

यह लेख बताता है कि शब्द क्रम कैसे एन्कोड किया जाता है, ध्यान तंत्र उस क्रम को कैसे समझता है, और साइन व कोसाइन फ़ंक्शन स्थिति के संकेत कैसे देते हैं। इसमें यह भी शामिल है कि प्रशिक्षण इस स्थिति की जानकारी का उपयोग कैसे करता है, और RoPE, एक रोटरी पोज़ीशन एम्बेडिंग विधि, कैसे काम करती है।

Karya Joseph Fourier tahun 1822 tentang penyebaran panas memperkenalkan alat matematika: merepresentasikan pola yang rumit sebagai kombinasi fungsi sinus dan kosinus. Hampir dua abad kemudian, fungsi yang sama muncul di dalam arsitektur transformer yang menjadi dasar model bahasa modern.

Kedua bidang ini tampak berjauhan. Fourier mempelajari suhu di sepanjang sebuah benda fisik, sedangkan model bahasa memproses token yang tersusun dalam urutan. Namun, fungsi sinus dan kosinus memberikan struktur yang berguna bagi keduanya. Fungsi tersebut mengubah posisi menjadi pola numerik yang terstruktur, yang dapat digunakan transformer untuk mempelajari bagaimana urutan kata memengaruhi makna. Gelombang memberikan informasi posisi, dan pelatihan mengajarkan model cara menggunakannya.

Urutan kata membawa informasi yang tidak dapat diberikan oleh kata-kata itu sendiri. Dua kalimat dengan kata yang sama dapat memiliki arti berbeda tergantung pada siapa yang melakukan tindakan terhadap siapa. Perangkat lunak bekerja dengan cara yang sama: income - expenses dan expenses - income berisi variabel dan operator yang sama, tetapi menghasilkan hasil yang berbeda. Karena itu, model bahasa memerlukan akses ke informasi posisi meskipun kata-kata tiba sebagai daftar yang berurutan.

Artikel ini menjelaskan bagaimana urutan kata dienkode, bagaimana mekanisme perhatian memahami urutan tersebut, dan bagaimana fungsi sinus dan kosinus menyediakan sinyal posisi. Artikel ini juga membahas bagaimana pelatihan memanfaatkan informasi posisi tersebut dan cara kerja RoPE, metode rotary position embedding.

ジョセフ・フーリエが1822年に発表した熱の伝播に関する研究は、複雑なパターンを正弦関数と余弦関数の組み合わせとして表すという数学的な道具をもたらしました。それから約2世紀後、同じ関数が現代の言語モデルの基盤であるTransformerアーキテクチャの内部に現れています。

この2つの分野は一見かけ離れているように見えます。フーリエは物理的な物体全体の温度を研究しましたが、言語モデルは系列に並んだトークンを処理します。それでも、正弦関数と余弦関数はどちらにとっても有用な構造を与えます。位置を構造化された数値パターンに変換し、Transformerが語順が意味にどう影響するかを学習するために使えるようにするのです。波は位置情報を提供し、学習によってモデルがそれをどう使うかを身につけます。

語順は、単語だけでは得られない情報を運びます。同じ単語からなる2つの文でも、誰が誰に作用するかによって意味が変わることがあります。ソフトウェアも同様で、income - expensesとexpenses - incomeは同じ変数と演算子を含みますが、結果は異なります。そのため、単語が順序付きのリストとして入力される場合でも、言語モデルは位置情報にアクセスする必要があります。

この記事では、語順がどのように符号化されるか、注意機構がその順序をどう扱うか、正弦関数と余弦関数がどのように位置の信号を供給するかを説明します。また、学習がこの位置情報をどのように利用するか、そしてRoPE（回転位置埋め込み法）の仕組みについても取り上げます。

O trabalho de Joseph Fourier de 1822 sobre a propagação do calor introduziu uma ferramenta matemática: representar padrões complicados como combinações de funções seno e cosseno. Quase dois séculos depois, essas mesmas funções aparecem dentro da arquitetura Transformer que está por trás dos modelos de linguagem modernos.

Os dois campos parecem distantes. Fourier estudava a temperatura ao longo de um objeto físico, enquanto um modelo de linguagem processa tokens dispostos em uma sequência. Ainda assim, as funções seno e cosseno dão a ambos uma estrutura útil. Elas transformam posições em padrões numéricos estruturados, que um Transformer pode usar para aprender como a ordem das palavras afeta o significado. As ondas fornecem a informação de posição, e o treinamento ensina o modelo a usá-la.

A ordem das palavras carrega informações que as palavras sozinhas não conseguem fornecer. Duas frases com as mesmas palavras podem significar coisas diferentes dependendo de quem age sobre quem. O software funciona da mesma forma: income - expenses e expenses - income contêm as mesmas variáveis e o mesmo operador, mas produzem resultados diferentes. Por isso, um modelo de linguagem precisa de acesso à informação posicional mesmo quando as palavras chegam como uma lista ordenada.

O artigo explica como a ordem das palavras é codificada, como o mecanismo de atenção interpreta essa ordem e como as funções seno e cosseno fornecem os sinais posicionais. Também aborda como o treinamento usa essa informação de posição e como funciona o RoPE, um método de codificação posicional rotacional.

Работа Жозефа Фурье 1822 года о распространении тепла ввела математический инструмент: представление сложных закономерностей как сочетаний синусов и косинусов. Почти два столетия спустя эти же функции появляются внутри архитектуры трансформера, лежащей в основе современных языковых моделей.

Эти две области кажутся далекими друг от друга. Фурье изучал температуру по физическому телу, а языковая модель обрабатывает токены, расположенные в последовательности. Тем не менее синусы и косинусы дают обеим областям полезную структуру. Они превращают позиции в упорядоченные числовые закономерности, которые трансформер может использовать, чтобы выяснить, как порядок слов влияет на смысл. Волны предоставляют информацию о позиции, а обучение учит модель эту информацию использовать.

Порядок слов несет информацию, которой не могут передать сами слова. Два предложения из одних и тех же слов могут означать разное в зависимости от того, кто на кого действует. Программное обеспечение работает так же: income - expenses и expenses - income содержат одни и те же переменные и оператор, но дают разные результаты. Поэтому языковой модели нужна позиционная информация, даже когда слова поступают в виде упорядоченного списка.

В статье объясняется, как кодируется порядок слов, как механизм внимания его интерпретирует и как синусы и косинусы передают позиционные сигналы. Также рассматривается, как обучение использует эту информацию о позиции и как работает RoPE, метод ротационного позиционного кодирования.

约瑟夫·傅里叶在1822年关于热量扩散的研究中提出了一种数学工具：将复杂的模式表示为正弦和余弦函数的组合。近两个世纪后，这些相同的函数出现在现代语言模型背后的Transformer架构中。

这两个领域看似相距甚远。傅里叶研究的是物理物体上的温度分布，而语言模型处理的是按序列排列的词元。然而，正弦和余弦函数为两者都提供了有用的结构。它们将位置转换为结构化的数值模式，Transformer可以利用这些模式学习词序如何影响含义。波形提供位置信息，训练则教会模型如何使用这些信息。

词序所承载的信息是单凭词语本身无法提供的。由相同词语组成的两个句子，可能因谁对谁采取行动而含义不同。软件也是如此：income - expenses与expenses - income包含相同的变量和运算符，却产生不同的结果。因此，即使词语以有序列表的形式到达，语言模型仍需要获取位置信息。

本文解释了词序如何被编码、注意力机制如何理解这种顺序、正弦和余弦函数如何提供位置信号。文章还涵盖了训练如何利用这些位置信息，以及旋转位置编码（RoPE）的工作原理。