Transformer — это архитектура нейронной сети, которая фундаментально изменила искусственный интеллект. Представленная в статье 2017 года «Attention is All You Need», она лежит в основе таких моделей, как GPT от OpenAI, Llama от Meta и Gemini от Google, и применяется в генерации аудио, распознавании изображений, предсказании структуры белков и играх. Текстогенерирующие Transformer предсказывают следующий токен с помощью самовнимания, улавливая дальние зависимости. Transformer Explainer работает на GPT-2 (small) со 124 миллионами параметров, разделяя архитектурные компоненты с передовыми моделями.

Каждый текстогенерирующий Transformer имеет три ключевых компонента: Embedding преобразует токены в числовые векторы, улавливающие семантическое значение; Transformer Block обрабатывает и преобразует входные данные с помощью механизма внимания (Attention Mechanism) (позволяющего токенам взаимодействовать) и MLP (уточняющего представление каждого токена); Output Probabilities преобразует эмбеддинги в вероятности следующего токена.

Embedding преобразует промпт вроде «Data visualization empowers users to» в числовое представление. Шаги: 1) Tokenization разбивает текст на токены (у GPT-2 50 257 уникальных токенов); 2) Token Embedding представляет каждый токен как 768-мерный вектор; 3) Positional Encoding; 4) Final Embedding. Эти шаги позволяют модели обрабатывать и генерировать текст.

Ключевые сущности: Компании: OpenAI, Meta, Google