El trabajo de Joseph Fourier de 1822 sobre la propagación del calor introdujo una herramienta matemática: representar patrones complicados como combinaciones de funciones seno y coseno. Casi dos siglos después, esas mismas funciones aparecen dentro de la arquitectura Transformer que está detrás de los modelos de lenguaje modernos.
Los dos campos parecen muy alejados. Fourier estudió la temperatura a lo largo de un objeto físico, mientras que un modelo de lenguaje procesa tokens dispuestos en una secuencia. Sin embargo, las funciones seno y coseno ofrecen a ambos una estructura útil. Convierten las posiciones en patrones numéricos estructurados, que un Transformer puede usar para aprender cómo el orden de las palabras afecta el significado. Las ondas proporcionan la información de posición, y el entrenamiento enseña al modelo cómo usarla.
El orden de las palabras aporta información que las palabras por sí solas no pueden proporcionar. Dos oraciones con las mismas palabras pueden significar cosas distintas según quién actúa sobre quién. El software funciona de la misma manera: income - expenses y expenses - income contienen las mismas variables y operador, pero producen resultados diferentes. Por ello, un modelo de lenguaje necesita acceder a información posicional incluso cuando las palabras llegan como una lista ordenada.
El artículo explica cómo se codifica el orden de las palabras, cómo el mecanismo de atención interpreta ese orden y cómo las funciones seno y coseno suministran las señales posicionales. También aborda cómo el entrenamiento utiliza esta información de posición y cómo funciona RoPE, un método de codificación posicional rotatoria.
Fuente: ByteByteGo · Resumido por HeadlinesBriefing