Transformer é uma arquitetura de rede neural que mudou fundamentalmente a Inteligência Artificial. Introduzida no artigo de 2017 "Attention is All You Need", ela alimenta modelos como o GPT da OpenAI, o Llama da Meta e o Gemini do Google, e é aplicada em geração de áudio, reconhecimento de imagens, previsão de estrutura de proteínas e jogos. Os Transformers generativos de texto preveem o próximo token usando autoatenção, capturando dependências de longo alcance. O Transformer Explainer é alimentado pelo GPT-2 (small) com 124 milhões de parâmetros, compartilhando componentes arquitetônicos com modelos de última geração.

Todo Transformer generativo de texto tem três componentes principais: Embedding converte tokens em vetores numéricos que capturam significado semântico; Transformer Block processa e transforma os dados de entrada com o Mecanismo de Atenção (permitindo que os tokens se comuniquem) e o MLP (refinando a representação de cada token); Output Probabilities transforma os embeddings em probabilidades do próximo token.

Embedding converte um prompt como "Data visualization empowers users to" em uma representação numérica. Etapas: 1) Tokenization divide o texto em tokens (o GPT-2 tem 50.257 tokens únicos); 2) Token Embedding representa cada token como um vetor de 768 dimensões; 3) Positional Encoding; 4) Final Embedding. Essas etapas permitem que o modelo processe e gere texto.

Entidades principais: Empresas: OpenAI, Meta, Google