Nous présentons PC-ALM, une alternative locale à la rétropropagation. PC-ALM entraîne des MLP résiduels jusqu'à 1000 couches, égalant presque les performances de la rétropropagation malgré l'utilisation uniquement de dynamiques locales de couche. PC-ALM équipe chaque couche d'un système dynamique de contrôle par rétroaction qui distribue et propage le crédit de supervision à travers un réseau.

L'apprentissage profond standard repose sur la rétropropagation. Le cerveau, cependant, ne peut pas implémenter exactement la rétropropagation. Une raison est le « verrouillage de phase » : la rétropropagation fonctionne en trois phases strictes—avant, arrière, mise à jour des poids—nécessitant que les neurones maintiennent les activations et attendent les signaux d'erreur. Le cerveau n'a aucun mécanisme connu pour une coordination temporelle aussi stricte.

PC-ALM remplace les passes avant et arrière par des systèmes dynamiques locaux de couche. Chaque couche ne se couple qu'à ses voisines. Lorsqu'il est exécuté jusqu'à convergence, la dynamique distribue le crédit de supervision rapidement et précisément. PC-ALM étend le codage prédictif standard (PC) en introduisant des neurones duaux (multiplicateurs de Lagrange) par couche, faisant de la récurrence locale de chaque couche un contrôleur à rétroaction PI. Dans les réseaux linéaires, les neurones duaux convergent vers des signaux de crédit de rétropropagation exacts malgré l'utilisation uniquement de calcul local.

Nous comparons PC-ALM à PC et à la rétropropagation. PC-ALM propage avec succès le crédit de supervision dans des réseaux de 1000 couches, surmontant la décroissance du signal de PC tout en restant local de couche. Cela pourrait éclairer l'apprentissage profond économe en énergie sur du matériel neuromorphique.

Entités clés : Entreprises : Sakana AI | Personnes : Rao, Ballard, Helmholtz

FAQ : Qu'est-ce que PC-ALM et en quoi diffère-t-il de la rétropropagation ?

PC-ALM (Codage Prédictif Lagrangien Augmenté) est une alternative locale à la rétropropagation qui entraîne des MLP résiduels jusqu'à 1000 couches. Contrairement aux passes strictes avant-puis-arrière de la rétropropagation, PC-ALM utilise des systèmes dynamiques locaux de couche couplés uniquement aux voisins. Il étend le codage prédictif en ajoutant des neurones duaux (multiplicateurs de Lagrange) par couche, formant un contrôleur à rétroaction PI. Dans les réseaux linéaires, ces neurones duaux convergent vers des signaux de crédit de rétropropagation exacts en utilisant uniquement un calcul local.

FAQ Q : Qu'est-ce que PC-ALM et en quoi diffère-t-il de la rétropropagation ?

FAQ A : PC-ALM (Codage Prédictif Lagrangien Augmenté) est une alternative locale à la rétropropagation qui entraîne des MLP résiduels jusqu'à 1000 couches. Contrairement aux passes strictes avant-puis-arrière de la rétropropagation, PC-ALM utilise des systèmes dynamiques locaux de couche couplés uniquement aux voisins. Il étend le codage prédictif en ajoutant des neurones duaux (multiplicateurs de Lagrange) par couche, formant un contrôleur à rétroaction PI. Dans les réseaux linéaires, ces neurones duaux convergent vers des signaux de crédit de rétropropagation exacts en utilisant uniquement un calcul local.