Октябрь 2026 г. Корреспонденция на s@qlabs.sh·Код·TL;DR Мы представляем первый метод нулевого порядка, который конкурирует с обратным распространением при предварительном обучении языковых моделей Трансформер. Dust возмущает активации (возмущение узлов) независимо на каждом токене, поэтому каждый токен является виртуальным членом популяции, и один прямой проход оценивает их все параллельно. Dust близко аппроксимирует обратное распространение на большой популяции (т.е. существенно больше вычислений) и во многих настройках даже превосходит его. Это намекает на то, что в режиме, богатом вычислениями, мы можем превзойти обратное распространение. Dust на порядки эффективнее, чем ES в пространстве весов. От 1M токенов и выше, Dust на порядок от $10^3$ до $10^4$ раз эффективнее, чем реализация Трансформера EGGROLL, современного метода ES, согласно нашим экстраполяциям.
Считается, что методы нулевого порядка не масштабируются на большие сети. Поразительно, но мы обнаруживаем, что большие модели более эффективны по популяции, а не менее: модель с 243M параметров превосходит модель в 120 раз меньшую при большинстве размеров популяции. Оценки градиента Dust лучше согласуются с обратным распространением по мере роста популяции и остаются хорошо согласованными на каждом масштабе, который мы тестируем, вплоть до 1B токенов, что обнадеживает для масштабирования.
Глубокое обучение построено вокруг обратного распространения, единственного алгоритма назначения кредита, способного обучать современные нейронные сети. Однако, по мере увеличения вычислений, мы можем предпочесть более общие алгоритмы. Горький урок (Sutton, 2019) заключается в том, что общие методы, масштабирующиеся с вычислениями, в конечном итоге побеждают. Аналогично, дифференцируемость может быть хорошей индуктивной предвзятостью в режиме низких вычислений, но в режиме высоких вычислений она ограничивает пространство архитектур. Более гибкий алгоритм назначения кредита, основанный на поиске, вероятно, является важным шагом к гораздо лучшему обобщению. Мы называем его Dust, алгоритм оптимизации нулевого порядка, который возмущает активации.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing