我们提出PC-ALM，一种反向传播的局部替代方案。PC-ALM可训练多达1000层的残差MLP，尽管仅使用层局部动力学，性能却几乎与反向传播相当。PC-ALM为每一层配备一个反馈控制动力系统，在整个网络中分配和传播监督信用。

标准深度学习依赖反向传播。然而，大脑无法精确实现反向传播。原因之一是“相位锁定”：反向传播在三个严格阶段运行——前向、反向、权重更新——要求神经元保持激活并等待误差信号。大脑没有已知机制来实现如此严格的时序协调。

PC-ALM用层局部动力系统取代前向和反向传递。每一层仅与其邻居耦合。当运行至收敛时，动力学快速且准确地分配监督信用。PC-ALM通过为每层引入对偶神经元（拉格朗日乘子）扩展了标准预测编码（PC），使每层的局部递归成为PI反馈控制器。在线性网络中，对偶神经元收敛到精确的反向传播信用信号，尽管仅使用局部计算。

我们将PC-ALM与PC和反向传播进行比较。PC-ALM成功在1000层网络中传播监督信用，克服了PC的信号衰减，同时保持层局部性。这可能为神经形态硬件上的节能深度学习提供启示。

关键实体：公司：Sakana AI | 人物：Rao、Ballard、Helmholtz

FAQ：什么是PC-ALM，它与反向传播有何不同？

PC-ALM（增广拉格朗日预测编码）是反向传播的局部替代方案，可训练多达1000层的残差MLP。与反向传播严格的前向-后向传递不同，PC-ALM使用仅与邻居耦合的层局部动力系统。它通过为每层添加对偶神经元（拉格朗日乘子）扩展了预测编码，形成PI反馈控制器。在线性网络中，这些对偶神经元仅使用局部计算就收敛到精确的反向传播信用信号。

FAQ Q：什么是PC-ALM，它与反向传播有何不同？

FAQ A：PC-ALM（增广拉格朗日预测编码）是反向传播的局部替代方案，可训练多达1000层的残差MLP。与反向传播严格的前向-后向传递不同，PC-ALM使用仅与邻居耦合的层局部动力系统。它通过为每层添加对偶神经元（拉格朗日乘子）扩展了预测编码，形成PI反馈控制器。在线性网络中，这些对偶神经元仅使用局部计算就收敛到精确的反向传播信用信号。