我々はPC-ALMを紹介する。これは逆伝播の局所的代替手法である。PC-ALMは最大1000層の残差MLPを訓練し、層ローカルなダイナミクスのみを使用しながらも逆伝播の性能にほぼ匹敵する。PC-ALMは各層にフィードバック制御力学系を備え、ネットワーク全体に監督クレジットを分配・伝播する。

標準的な深層学習は逆伝播に依存している。しかし、脳は逆伝播を正確に実装できない。その理由の一つは「位相ロック」である。逆伝播は三つの厳密な段階——順伝播、逆伝播、重み更新——で動作し、ニューロンが活性化を保持し誤差信号を待つことを要求する。脳にはそのような厳密なタイミング調整のための既知のメカニズムがない。

PC-ALMは順伝播と逆伝播を層ローカルな力学系に置き換える。各層は隣接層とのみ結合する。収束まで実行すると、ダイナミクスは監督クレジットを迅速かつ正確に分配する。PC-ALMは各層に双対ニューロン（ラグランジュ乗数）を導入することで標準的な予測符号化（PC）を拡張し、各層の局所再帰をPIフィードバックコントローラにする。線形ネットワークでは、双対ニューロンは局所計算のみを使用しながらも正確な逆伝播クレジット信号に収束する。

我々はPC-ALMをPCおよび逆伝播と比較する。PC-ALMは1000層のネットワークで監督クレジットを正常に伝播し、層ローカルでありながらPCの信号減衰を克服する。これはニューロモルフィックハードウェア上でのエネルギー効率の良い深層学習に示唆を与えるかもしれない。

主要エンティティ：企業：Sakana AI | 人物：Rao、Ballard、Helmholtz

FAQ：PC-ALMとは何か、逆伝播とどう異なるか？

PC-ALM（拡張ラグランジュ予測符号化）は逆伝播の局所的代替手法であり、最大1000層の残差MLPを訓練する。逆伝播の厳密な順伝播後逆伝播とは異なり、PC-ALMは隣接層とのみ結合する層ローカルな力学系を使用する。各層に双対ニューロン（ラグランジュ乗数）を追加することで予測符号化を拡張し、PIフィードバックコントローラを形成する。線形ネットワークでは、これらの双対ニューロンは局所計算のみを使用して正確な逆伝播クレジット信号に収束する。

FAQ Q：PC-ALMとは何か、逆伝播とどう異なるか？

FAQ A：PC-ALM（拡張ラグランジュ予測符号化）は逆伝播の局所的代替手法であり、最大1000層の残差MLPを訓練する。逆伝播の厳密な順伝播後逆伝播とは異なり、PC-ALMは隣接層とのみ結合する層ローカルな力学系を使用する。各層に双対ニューロン（ラグランジュ乗数）を追加することで予測符号化を拡張し、PIフィードバックコントローラを形成する。線形ネットワークでは、これらの双対ニューロンは局所計算のみを使用して正確な逆伝播クレジット信号に収束する。