Wir stellen PC-ALM vor, eine lokale Alternative zur Backpropagation. PC-ALM trainiert Residual-MLPs mit bis zu 1000 Schichten und erreicht nahezu die Leistung von Backpropagation, obwohl nur schichtlokale Dynamiken verwendet werden. PC-ALM stattet jede Schicht mit einem dynamischen Feedback-Regelungssystem aus, das den Überwachungskredit im gesamten Netzwerk verteilt und propagiert.

Standard-Deep-Learning beruht auf Backpropagation. Das Gehirn kann Backpropagation jedoch nicht exakt implementieren. Ein Grund ist die „Phasenverriegelung“: Backpropagation läuft in drei strengen Phasen ab—Vorwärts, Rückwärts, Gewichtsaktualisierung—wobei Neuronen Aktivierungen halten und auf Fehlersignale warten müssen. Das Gehirn hat keinen bekannten Mechanismus für eine so strenge zeitliche Koordination.

PC-ALM ersetzt Vorwärts- und Rückwärtsdurchläufe durch schichtlokale dynamische Systeme. Jede Schicht ist nur mit ihren Nachbarn gekoppelt. Bei Ausführung bis zur Konvergenz verteilt die Dynamik den Überwachungskredit schnell und präzise. PC-ALM erweitert die standardmäßige prädiktive Kodierung (PC) durch die Einführung dualer Neuronen (Lagrange-Multiplikatoren) pro Schicht, wodurch die lokale Rekurrenz jeder Schicht zu einem PI-Feedback-Regler wird. In linearen Netzwerken konvergieren die dualen Neuronen zu exakten Backpropagation-Kreditsignalen, obwohl nur lokale Berechnungen verwendet werden.

Wir vergleichen PC-ALM mit PC und Backpropagation. PC-ALM propagiert den Überwachungskredit erfolgreich in 1000-Schicht-Netzwerken und überwindet den Signalabfall von PC, während es schichtlokal bleibt. Dies könnte energieeffizientes Deep Learning auf neuromorpher Hardware informieren.

Schlüsselentitäten: Unternehmen: Sakana AI | Personen: Rao, Ballard, Helmholtz