Observou-se que as escolhas de design das redes neurais são frequentemente cruciais para sua otimização bem-sucedida. Neste artigo, portanto, discutimos a questão de se é sempre possível redesenhar uma rede neural para que ela treine bem com descenso de gradiente.
Isso resulta no seguinte resultado de universalidade: Se, para uma rede dada, há qualquer algoritmo que possa encontrar bons pesos de rede para uma tarefa de classificação, então existe uma extensão dessa rede que reproduz esses pesos e a saída correspondente apenas por meio de treinamento com descenso de gradiente.
A construção não é destinada a cálculos práticos, mas fornece alguma orientação sobre as possibilidades de meta-aprendizado e abordagens relacionadas.
Histórico de submissão De: Gerrit Welper [ver email] [v1]Mon, 27 Jul 2020 16:17:19 UTC (31 KB)
Entidades-chave: Pessoas: Gerrit Welper
Fonte: Hacker News · Resumido por HeadlinesBriefing