Распространенная задача в машинном обучении — оценить или оптимизировать функции «лог-сум-эксп» с (потенциально непрерывно) многими членами вида $$ log Big( int_{\mathcal{X}} e^{v(x)} dq(x) Big),$$ где \(v: \mathcal{X} \to \mathbb{R}\) — некоторая потенциальная функция, а \(q\) — распределение вероятности на множестве \(\mathcal{X}\). Это находит множество применений в науке о данных, часто через нормализацию вероятностных моделей, но также как гладкое приближение к максимуму, в трансформерах через их производные, или в обучении с подкреплением при использовании энтропийной регуляризации [19]. Иногда множество \(\mathcal{X}\) конечно (потенциально большое) и интеграл можно вычислить явным суммированием, но часто точное вычисление невозможно, и вместо этого используется выборка из распределения вероятности \(q\). Основная трудность возникает из-за дисперсии таких оценок, особенно когда \(v\) принимает большие значения. В самом простом случае, для независимых нормально распределенных \(z_1,\dots,z_n \in \mathbb{R}\) со средним \(\mu\) и дисперсией \(\sigma^2\), относительная квадратичная ошибка при оценке \(\mathbb{E}[e^z]\) равна $$\frac{ {\rm var}\big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big) }{( \mathbb{E}[ e^{z} ])^2} = \frac{1}{n} \frac{ {\rm var}(e^z) }{( \mathbb{E}[ e^{z} ])^2} = \frac{ e^{\sigma^2}-1}{n}.$$ При увеличении \(n\) она стремится к нулю (как ожидается из закона больших чисел), но при росте \(\sigma\) растет экспоненциально. Даже взятие логарифма не меняет взрыв дисперсии, то есть ${\rm var}\big( \log \big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big)\big)$ также можно показать, что она растет асимптотически подобно \frac{ e^{\sigma^2}-1}{n} (при большом \(n\), как можно получить методом дельта).Хотя оценить лог-сум-эксп сложно, эта функция обладает многими приятными свойствами (и поэтому её любят); мне особенно нравится, что (1) она является гладким приближением к максимуму (см., например, этот предыдущий пост), и (2) она является способом нормализации вероятностных моделей, адаптированным к оценке максимального правдоподобия, особенно в иерархических вероятностных моделях, где предположения об условной независимости приводят к разделимости связанных функций потерь (как широко используется в вероятностных графических моделях).Основной вопрос, на который я пытаюсь ответить в этом посте: можем ли мы сохранить преимущества оптимизации функций лог-сум-эксп, уменьшая их вычислительные/статистические недостатки? На другом конце спектра находится регрессия наименьших квадратов, обладающая по сути противоположными свойствами: с положительной стороны, мы получаем вычислительную и статистическую простоту в различных формах, например, она приводит к замкнутой форме оценки для линейных моделей через линейную алгебру, она основана на вычислении моментов с фиксированной контролируемой дисперсией, и приводит к точным анализам в различных условиях (ускорение, стохастический градиентный спуск и т.д.). См., например, этот пост об ускорении, и этот о среднем. С отрицательной стороны, применение регрессии наименьших квадратов ко всем задачам предсказания, особенно с дискретными выходами, создает некоторые артефакты. Традиционный пример — классификация с гаусовскими условными данными (с одинаковыми матрицами ковариации), где наименьшие квадраты на one-hot закодированных выходах вызывают проблемы, такие как «маскирование» (см. [13, раздел 2.4] и пример ниже), или высокая ошибка приближения по сравнению с использованием многоклассовой логистической регрессии (также известной как регрессия softmax), потому что тогда логарифмы условных вероятностей являются аффинными. Можно ли их примирить? Другими словами, действительно ли регрессия наименьших квадратов — это всё, что мне нужно? (мои коллеги иногда шутят над моей любовью к наименьшим квадратам).Обратите внимание, что существует еще одна (классическая) попытка увидеть мир через наименьшие квадраты: выполнить это последовательно через метод Ньютона, что в данном контексте приводит к итеративно взвешенным наименьшим квадратам, но это относится только к вычислениям, без статистического улучшения. Мы стремимся к чему-то более сильному......