Le travail de Joseph Fourier de 1822 sur la diffusion de la chaleur a introduit un outil mathématique : représenter des motifs complexes comme des combinaisons de fonctions sinus et cosinus. Près de deux siècles plus tard, ces mêmes fonctions apparaissent au cœur de l'architecture Transformer qui sous-tend les modèles de langage modernes.
Les deux domaines semblent éloignés. Fourier étudiait la température dans un objet physique, tandis qu'un modèle de langage traite des jetons disposés en séquence. Pourtant, les fonctions sinus et cosinus offrent à l'un comme à l'autre une structure utile. Elles transforment les positions en motifs numériques structurés, que un Transformer peut utiliser pour apprendre comment l'ordre des mots influe sur le sens. Les ondes fournissent l'information de position, et l'entraînement apprend au modèle à s'en servir.
L'ordre des mots porte une information que les mots seuls ne peuvent pas fournir. Deux phrases composées des mêmes mots peuvent signifier des choses différentes selon qui agit sur qui. Les logiciels fonctionnent de la même façon : income - expenses et expenses - income contiennent les mêmes variables et le même opérateur, mais donnent des résultats différents. Un modèle de langage a donc besoin d'informations positionnelles, même lorsque les mots arrivent sous la forme d'une liste ordonnée.
L'article explique comment l'ordre des mots est encodé, comment le mécanisme d'attention en exploite l'ordre et comment les fonctions sinus et cosinus fournissent les signaux positionnels. Il aborde aussi la manière dont l'entraînement utilise ces informations de position et le fonctionnement de RoPE, une méthode d'encodage de position par rotation.
Source: ByteByteGo · Résumé par HeadlinesBriefing