Es wurde beobachtet, dass Design-Entscheidungen von neuronalen Netzen oft entscheidend für ihre erfolgreiche Optimierung sind. In diesem Artikel diskutieren wir daher die Frage, ob es immer möglich ist, ein neuronales Netz so umzugestalten, dass es sich mit Gradientenabstieg gut trainiert.
Dies führt zum folgenden Universalitätsergebnis: Wenn für ein gegebenes Netzwerk ein Algorithmus existiert, der gute Netzwerkgewichte für eine Klassifizierungsaufgabe finden kann, dann existiert eine Erweiterung dieses Netzwerks, die diese Gewichte und die entsprechende Forward-Ausgabe durch einfaches Gradientenabstieg-Training reproduziert.
Die Konstruktion ist nicht für praktische Berechnungen gedacht, aber sie liefert einige Orientierung über die Möglichkeiten des Meta-Lernens und verwandter Ansätze.
Einreichungsgeschichte Von: Gerrit Welper [E-Mail anzeigen] [v1]Mon, 27 Jul 2020 16:17:19 UTC (31 KB)
Wichtige Entitäten: Personen: Gerrit Welper
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing