Presentamos PC-ALM, una alternativa local a la retropropagación. PC-ALM entrena MLP residuales de hasta 1000 capas, casi igualando el rendimiento de la retropropagación a pesar de usar solo dinámicas locales de capa. PC-ALM equipa cada capa con un sistema dinámico de control de retroalimentación que distribuye y propaga el crédito de supervisión a través de una red.

El aprendizaje profundo estándar depende de la retropropagación. Sin embargo, el cerebro no puede implementar la retropropagación exactamente. Una razón es el "bloqueo de fase": la retropropagación se ejecuta en tres fases estrictas—hacia adelante, hacia atrás, actualización de pesos—requiriendo que las neuronas mantengan activaciones y esperen señales de error. El cerebro no tiene un mecanismo conocido para una coordinación temporal tan estricta.

PC-ALM reemplaza los pases hacia adelante y hacia atrás con sistemas dinámicos locales de capa. Cada capa se acopla solo a sus vecinas. Cuando se ejecuta hasta la convergencia, la dinámica distribuye el crédito de supervisión de manera rápida y precisa. PC-ALM extiende la codificación predictiva estándar (PC) introduciendo neuronas duales (multiplicadores de Lagrange) por capa, haciendo que la recurrencia local de cada capa sea un controlador de retroalimentación PI. En redes lineales, las neuronas duales convergen a señales de crédito exactas de retropropagación a pesar de usar solo computación local.

Comparamos PC-ALM con PC y retropropagación. PC-ALM propaga exitosamente el crédito de supervisión en redes de 1000 capas, superando la decadencia de señal de PC mientras permanece local de capa. Esto puede informar el aprendizaje profundo energéticamente eficiente en hardware neuromórfico.

Entidades clave: Empresas: Sakana AI | Personas: Rao, Ballard, Helmholtz