Transformer est une architecture de réseau neuronal qui a fondamentalement changé l'Intelligence Artificielle. Introduite dans l'article de 2017 « Attention is All You Need », elle alimente des modèles comme GPT d'OpenAI, Llama de Meta et Gemini de Google, et est appliquée à la génération audio, la reconnaissance d'images, la prédiction de structure de protéines et le jeu. Les Transformers génératifs de texte prédisent le prochain token en utilisant l'auto-attention, capturant les dépendances à longue portée. Transformer Explainer est propulsé par GPT-2 (small) avec 124 millions de paramètres, partageant des composants architecturaux avec les modèles de pointe.

Chaque Transformer génératif de texte a trois composants clés : Embedding convertit les tokens en vecteurs numériques capturant le sens sémantique ; Transformer Block traite et transforme les données d'entrée avec le Mécanisme d'Attention (permettant aux tokens de communiquer) et le MLP (affinant la représentation de chaque token) ; Output Probabilities transforme les embeddings en probabilités du prochain token.

Embedding convertit un prompt comme « Data visualization empowers users to » en une représentation numérique. Étapes : 1) Tokenization divise le texte en tokens (GPT-2 a 50 257 tokens uniques) ; 2) Token Embedding représente chaque token comme un vecteur de 768 dimensions ; 3) Positional Encoding ; 4) Final Embedding. Ces étapes permettent au modèle de traiter et de générer du texte.

Entités clés : Entreprises : OpenAI, Meta, Google

FAQ : Quelle est l'innovation centrale des modèles Transformer ?

Le mécanisme d'auto-attention, qui permet de traiter des séquences entières et de capturer les dépendances à longue portée plus efficacement que les architectures précédentes.

FAQ Q : Quelle est l'innovation centrale des modèles Transformer ?

FAQ R : Le mécanisme d'auto-attention, qui permet de traiter des séquences entières et de capturer les dépendances à longue portée plus efficacement que les architectures précédentes.