O trabalho de Joseph Fourier de 1822 sobre a propagação do calor introduziu uma ferramenta matemática: representar padrões complicados como combinações de funções seno e cosseno. Quase dois séculos depois, essas mesmas funções aparecem dentro da arquitetura Transformer que está por trás dos modelos de linguagem modernos.
Os dois campos parecem distantes. Fourier estudava a temperatura ao longo de um objeto físico, enquanto um modelo de linguagem processa tokens dispostos em uma sequência. Ainda assim, as funções seno e cosseno dão a ambos uma estrutura útil. Elas transformam posições em padrões numéricos estruturados, que um Transformer pode usar para aprender como a ordem das palavras afeta o significado. As ondas fornecem a informação de posição, e o treinamento ensina o modelo a usá-la.
A ordem das palavras carrega informações que as palavras sozinhas não conseguem fornecer. Duas frases com as mesmas palavras podem significar coisas diferentes dependendo de quem age sobre quem. O software funciona da mesma forma: income - expenses e expenses - income contêm as mesmas variáveis e o mesmo operador, mas produzem resultados diferentes. Por isso, um modelo de linguagem precisa de acesso à informação posicional mesmo quando as palavras chegam como uma lista ordenada.
O artigo explica como a ordem das palavras é codificada, como o mecanismo de atenção interpreta essa ordem e como as funções seno e cosseno fornecem os sinais posicionais. Também aborda como o treinamento usa essa informação de posição e como funciona o RoPE, um método de codificação posicional rotacional.
Fonte: ByteByteGo · Resumido por HeadlinesBriefing