ニューラルネットワークの設計選択は、その成功した最適化にとってしばしば重要であることが観察されています。この記事では、ニューラルネットワークを再設計して勾配降下法でうまくトレーニングできるかどうかについて論じています。
これにより、以下の普遍性結果が得られます：与えられたネットワークについて、分類タスクのためによいネットワークの重みを見つけることができるアルゴリズムが存在する場合、そのネットワークの拡張が存在し、この拡張は単に勾配降下法のトレーニングによってこれらの重みと対応するフォワード出力を再現します。
この構築は実用的な計算を目的としていませんが、メタ学習および関連アプローチの可能性についての方向性を提供します。
投稿履歴 から: Gerrit Welper [メールを見る] [v1]Mon, 27 Jul 2020 16:17:19 UTC (31 KB)
主要なエンティティ: 人々: Gerrit Welper
出典: Hacker News · 要約：HeadlinesBriefing