Transformer 是一种从根本上改变了人工智能的神经网络架构。它于 2017 年的论文《Attention is All You Need》中提出，为 OpenAI 的 GPT、Meta 的 Llama 和 Google 的 Gemini 等模型提供动力，并应用于音频生成、图像识别、蛋白质结构预测和游戏博弈。文本生成型 Transformer 使用自注意力机制预测下一个 token，捕捉长距离依赖关系。Transformer 解释器由 GPT-2（small）驱动，拥有 1.24 亿参数，与最先进的模型共享架构组件。

每个文本生成型 Transformer 都有三个关键组件：嵌入（Embedding）将 token 转换为捕捉语义含义的数值向量；Transformer 块（Transformer Block）通过注意力机制（允许 token 之间相互通信）和 MLP（细化每个 token 的表示）处理和转换输入数据；输出概率（Output Probabilities）将嵌入转换为下一个 token 的概率。

嵌入将诸如“Data visualization empowers users to”这样的提示转换为数值表示。步骤：1）分词（Tokenization）将文本分解为 token（GPT-2 有 50,257 个唯一 token）；2）Token 嵌入将每个 token 表示为 768 维向量；3）位置编码（Positional Encoding）；4）最终嵌入。这些步骤使模型能够处理和生成文本。

关键实体：公司：OpenAI、Meta、Google

常见问题：Transformer 模型的核心创新是什么？

自注意力机制，它允许处理整个序列，并比以前的架构更有效地捕捉长距离依赖关系。

常见问题问：Transformer 模型的核心创新是什么？

常见问题答：自注意力机制，它允许处理整个序列，并比以前的架构更有效地捕捉长距离依赖关系。