Было отмечено, что выборы в проектировании нейронных сетей часто критически важны для их успешной оптимизации. Поэтому в этой статье мы обсуждаем вопрос о том, всегда ли можно переспроектировать нейронную сеть так, чтобы она хорошо обучалась с помощью градиентного спуска.
Это приводит к следующему результату универсальности: если для заданной сети существует любой алгоритм, который может найти хорошие веса сети для задачи классификации, то существует расширение этой сети, которое воспроизводит эти веса и соответствующий прямой вывод путем простого обучения с помощью градиентного спуска.
Конструкция не предназначена для практических вычислений, но она предоставляет некоторое понимание возможностей метаобучения и связанных подходов.
История подачи От: Gerrit Welper [просмотреть email] [v1]Mon, 27 Jul 2020 16:17:19 UTC (31 KB)
Ключевые сущности: Люди: Gerrit Welper
Источник: Hacker News · Сводку подготовил HeadlinesBriefing