Мы представляем PC-ALM — локальную альтернативу обратному распространению. PC-ALM обучает остаточные MLP до 1000 слоёв, почти не уступая производительности обратного распространения, несмотря на использование только локальной динамики слоёв. PC-ALM оснащает каждый слой динамической системой управления с обратной связью, которая распределяет и распространяет кредит супервизии по всей сети.

Стандартное глубокое обучение опирается на обратное распространение. Однако мозг не может точно реализовать обратное распространение. Одна из причин — «фазовая синхронизация»: обратное распространение работает в трёх строгих фазах — прямой проход, обратный проход, обновление весов — требуя от нейронов удерживать активации и ждать сигналов ошибки. У мозга нет известного механизма для такой строгой временной координации.

PC-ALM заменяет прямой и обратный проходы локальными динамическими системами слоёв. Каждый слой связан только со своими соседями. При работе до сходимости динамика быстро и точно распределяет кредит супервизии. PC-ALM расширяет стандартное предсказательное кодирование (PC), вводя двойственные нейроны (множители Лагранжа) для каждого слоя, превращая локальную рекуррентность каждого слоя в PI-регулятор с обратной связью. В линейных сетях двойственные нейроны сходятся к точным сигналам кредита обратного распространения, несмотря на использование только локальных вычислений.

Мы сравниваем PC-ALM с PC и обратным распространением. PC-ALM успешно распространяет кредит супервизии в сетях из 1000 слоёв, преодолевая затухание сигнала PC, оставаясь при этом локальным для слоя. Это может способствовать энергоэффективному глубокому обучению на нейроморфном оборудовании.

Ключевые сущности: Компании: Sakana AI | Люди: Rao, Ballard, Helmholtz