Работа Жозефа Фурье 1822 года о распространении тепла ввела математический инструмент: представление сложных закономерностей как сочетаний синусов и косинусов. Почти два столетия спустя эти же функции появляются внутри архитектуры трансформера, лежащей в основе современных языковых моделей.
Эти две области кажутся далекими друг от друга. Фурье изучал температуру по физическому телу, а языковая модель обрабатывает токены, расположенные в последовательности. Тем не менее синусы и косинусы дают обеим областям полезную структуру. Они превращают позиции в упорядоченные числовые закономерности, которые трансформер может использовать, чтобы выяснить, как порядок слов влияет на смысл. Волны предоставляют информацию о позиции, а обучение учит модель эту информацию использовать.
Порядок слов несет информацию, которой не могут передать сами слова. Два предложения из одних и тех же слов могут означать разное в зависимости от того, кто на кого действует. Программное обеспечение работает так же: income - expenses и expenses - income содержат одни и те же переменные и оператор, но дают разные результаты. Поэтому языковой модели нужна позиционная информация, даже когда слова поступают в виде упорядоченного списка.
В статье объясняется, как кодируется порядок слов, как механизм внимания его интерпретирует и как синусы и косинусы передают позиционные сигналы. Также рассматривается, как обучение использует эту информацию о позиции и как работает RoPE, метод ротационного позиционного кодирования.
Источник: ByteByteGo · Сводку подготовил HeadlinesBriefing