Transformer ist eine neuronale Netzwerkarchitektur, die die Künstliche Intelligenz grundlegend verändert hat. Eingeführt im Paper „Attention is All You Need“ von 2017, treibt sie Modelle wie OpenAIs GPT, Metas Llama und Googles Gemini an und wird in Audiogenerierung, Bilderkennung, Proteinstrukturvorhersage und Spielen eingesetzt. Textgenerierende Transformer sagen das nächste Token mithilfe von Selbstaufmerksamkeit voraus und erfassen weitreichende Abhängigkeiten. Transformer Explainer wird von GPT-2 (small) mit 124 Millionen Parametern angetrieben und teilt architektonische Komponenten mit modernsten Modellen.

Jeder textgenerierende Transformer hat drei Schlüsselkomponenten: Embedding wandelt Tokens in numerische Vektoren um, die semantische Bedeutung erfassen; Transformer Block verarbeitet und transformiert Eingabedaten mit dem Aufmerksamkeitsmechanismus (Attention Mechanism) (der Tokens kommunizieren lässt) und MLP (der die Repräsentation jedes Tokens verfeinert); Output Probabilities wandelt Embeddings in Wahrscheinlichkeiten für das nächste Token um.

Embedding wandelt einen Prompt wie „Data visualization empowers users to“ in eine numerische Darstellung um. Schritte: 1) Tokenization zerlegt Text in Tokens (GPT-2 hat 50.257 eindeutige Tokens); 2) Token Embedding stellt jedes Token als 768-dimensionalen Vektor dar; 3) Positional Encoding; 4) Final Embedding. Diese Schritte ermöglichen es dem Modell, Text zu verarbeiten und zu generieren.

Wichtige Entitäten: Unternehmen: OpenAI, Meta, Google