Модели машинного обучения обычно описывают числом обучаемых параметров, однако эта цифра может вводить в заблуждение. Модель может содержать много параметров, которые не создают действительно независимых способов влияния на её выход, в то время как компактная модель может использовать почти каждый параметр отдельным и осмысленным образом. Эффективная размерность — это способ количественно оценить такое различие.
Рассмотрим две модели с параметрами θ1 и θ2. В первой параметры влияют на выход независимо, поэтому модель может изменяться в двух независимых направлениях. Во второй выход зависит только от их суммы, поэтому множество пар параметров дают в точности одну и ту же функцию. Хотя формально у модели два параметра, у неё лишь одна степень свободы. Это иллюстрирует главную идею: количество параметров не обязательно отражает функциональную сложность.
Эффективная размерность — это зависящая от масштаба мера информационной сложности, first разработанная в статистической теории информации для подсчёта действительно активных параметров модели с учётом объёма доступных данных. С тех пор её применяют в классическом и квантовом машинном обучении для оценки выразительности модели, её обучаемости и способности к обобщению. В отличие от точности, функции потерь или сырого числа параметров, она показывает, сколько различимых направлений параметров есть у модели в выбранной области параметров и при заданном распределении данных.
Важно, что эффективная размерность связана с обобщением. При допущениях данной схемы она может дать зависящую от сложности оценку качества обобщения. Это первая часть двухчастной серии; во второй части будет показано, как реализовать вычисления эффективной размерности в экспериментах машинного обучения.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing