Apresentamos o PC-ALM, uma alternativa local à retropropagação. O PC-ALM treina MLPs residuais de até 1000 camadas, quase igualando o desempenho da retropropagação apesar de usar apenas dinâmicas locais de camada. O PC-ALM equipa cada camada com um sistema dinâmico de controle por retroalimentação que distribui e propaga o crédito de supervisão por toda a rede.

O aprendizado profundo padrão depende da retropropagação. O cérebro, no entanto, não pode implementar a retropropagação exatamente. Uma razão é o "bloqueio de fase": a retropropagação opera em três fases estritas—para frente, para trás, atualização de pesos—exigindo que os neurônios mantenham ativações e esperem por sinais de erro. O cérebro não tem mecanismo conhecido para coordenação temporal tão estrita.

O PC-ALM substitui as passagens para frente e para trás por sistemas dinâmicos locais de camada. Cada camada se acopla apenas às suas vizinhas. Quando executado até a convergência, a dinâmica distribui o crédito de supervisão de forma rápida e precisa. O PC-ALM estende a codificação preditiva padrão (PC) introduzindo neurônios duais (multiplicadores de Lagrange) por camada, tornando a recorrência local de cada camada um controlador de retroalimentação PI. Em redes lineares, os neurônios duais convergem para sinais de crédito exatos da retropropagação apesar de usar apenas computação local.

Comparamos o PC-ALM com PC e retropropagação. O PC-ALM propaga com sucesso o crédito de supervisão em redes de 1000 camadas, superando o decaimento de sinal do PC enquanto permanece local de camada. Isso pode informar o aprendizado profundo energeticamente eficiente em hardware neuromórfico.

Entidades-chave: Empresas: Sakana AI | Pessoas: Rao, Ballard, Helmholtz