Il a été observé que les choix de conception des réseaux de neurones sont souvent cruciaux pour leur optimisation réussie. Dans cet article, nous discutons donc la question de savoir s'il est toujours possible de redessiner un réseau de neurones pour qu'il s'entraîne bien avec la descente de gradient.
Cela donne le résultat d'universalité suivant : Si, pour un réseau donné, il existe un algorithme capable de trouver de bons poids de réseau pour une tâche de classification, alors il existe une extension de ce réseau qui reproduit ces poids et la sortie avant correspondante par un simple entraînement par descente de gradient.
La construction n'est pas destinée à des calculs pratiques, mais elle fournit une certaine orientation sur les possibilités de l'apprentissage métac et des approches connexes.
Historique de soumission De: Gerrit Welper [voir email] [v1]Mon, 27 Jul 2020 16:17:19 UTC (31 KB)
Entités clés: Personnes: Gerrit Welper
Source: Hacker News · Résumé par HeadlinesBriefing