Se ha observado que las decisiones de diseño de las redes neuronales suelen ser cruciales para su optimización exitosa. En este artículo, por lo tanto, discutimos la pregunta de si siempre es posible rediseñar una red neuronal para que entrene bien con descenso de gradiente.
Esto produce el siguiente resultado de universalidad: Si, para una red dada, existe algún algoritmo que pueda encontrar buenos pesos de red para una tarea de clasificación, entonces existe una extensión de esta red que reproduce estos pesos y la salida correspondiente mediante un simple entrenamiento con descenso de gradiente.
La construcción no está destinada a cálculos prácticos, pero proporciona alguna orientación sobre las posibilidades del aprendizaje meta y enfoques relacionados.
Historial de envío De: Gerrit Welper [ver correo] [v1]Mon, 27 Jul 2020 16:17:19 UTC (31 KB)
Entidades clave: Personas: Gerrit Welper
Fuente: Hacker News · Resumido por HeadlinesBriefing