Transformer es una arquitectura de red neuronal que ha cambiado fundamentalmente la Inteligencia Artificial. Introducida en el artículo de 2017 "Attention is All You Need", impulsa modelos como GPT de OpenAI, Llama de Meta y Gemini de Google, y se aplica en generación de audio, reconocimiento de imágenes, predicción de estructura de proteínas y juego. Los Transformers generativos de texto predicen el siguiente token usando autoatención, capturando dependencias de largo alcance. Transformer Explainer está impulsado por GPT-2 (small) con 124 millones de parámetros, compartiendo componentes arquitectónicos con modelos de última generación.

Cada Transformer generativo de texto tiene tres componentes clave: Embedding convierte tokens en vectores numéricos que capturan significado semántico; Transformer Block procesa y transforma los datos de entrada con el Mecanismo de Atención (permitiendo que los tokens se comuniquen) y MLP (refinando la representación de cada token); Output Probabilities transforma los embeddings en probabilidades del siguiente token.

Embedding convierte un prompt como "Data visualization empowers users to" en una representación numérica. Pasos: 1) Tokenization divide el texto en tokens (GPT-2 tiene 50,257 tokens únicos); 2) Token Embedding representa cada token como un vector de 768 dimensiones; 3) Positional Encoding; 4) Final Embedding. Estos pasos permiten al modelo procesar y generar texto.

Entidades clave: Empresas: OpenAI, Meta, Google