মেশিন লার্নিং中的一个常见任务是估计或优化具有（可能连续的）许多项的“对数求和指数”函数，例如 $$ log Big( int_{\mathcal{X}} e^{v(x)} dq(x) Big)，$$ 其中 \(v: \mathcal{X} \to \mathbb{R}\) 是某个势函数，而 \(q\) 是集合 \(\mathcal{X}\) 上的概率分布。这在数据科学中有广泛应用，通常通过概率模型的归一化实现，但也作为最大值的平滑近似，在变换器中通过其导数实现，或在使用熵正则化的强化学习中 [19]。有时集合 \(\mathcal{X}\) 是有限的（可能很大），积分可以通过显式求和完成，但通常精确计算不可行，于是采用从概率分布 \(q\) 采样的方法。关键困难来自于此类估计的方差，特别是当 \(v\) 取较大值时。在最简单的例子中，对于独立且服从均值为 \(\mu\)、方差为 \(\sigma^2\) 的正态分布的 \(z_1,\dots,z_n \in \mathbb{R}\)，估计 \(\mathbb{E}[e^z]\) 的相对平方误差为 $$\frac{ {\rm var}\big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big) }{( \mathbb{E}[ e^{z} ])^2} = \frac{1}{n} \frac{ {\rm var}(e^z) }{( \mathbb{E}[ e^{z} ])^2} = \frac{ e^{\sigma^2}-1}{n}.$$ 当 \(n\) 增大时，它趋于零（正如大数定律所预期的），但当 \(\sigma\) 增大时，它会爆炸式增长。即使取对数也不会改变方差的爆炸，即 ${\rm var}\big( \log \big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big)\big)$ 也可以被证明在 \(n\) 很大时渐近地以类似的方式增长，即 \frac{ e^{\sigma^2}-1}{n} （可通过 delta 法得到）。虽然难以估计，但对数求和指数函数具有许多良好性质（这就是人们喜欢它的原因）；我特别喜欢以下两点：（1）它是最大值的平滑近似（参见，例如，此前的帖子）；（2）它是一种归一化概率模型的方法，适用于最大似然估计，特别是在层次概率模型中，其中（条件）独立性假设导致相关损失函数的可分性（如概率图模型中广泛使用）。我在这篇帖子中试图回答的主要问题是：我们能否在保持对数求和指数函数优势的同时，减少其计算/统计劣势的暴露？在光谱的另一端是最小二乘回归，它具有基本相反的特点：在积极方面，我们可以通过线性代数获得线性模型的闭式估计，它基于计算具有固定受控方差的矩，并在各种设置中（如加速、随机梯度下降等）导致尖锐的分析。参见，例如，关于加速的帖子，以及关于平均值的帖子。在消极方面，将最小二乘回归用于所有预测问题，特别是离散输出时，会产生一些人工制品。传统例子是高斯类条件数据的分类（具有相同协方差矩阵），其中对独热编码输出使用最小二乘会出现问题，如“掩蔽”（参见 [13, 第 2.4 节] 和下面的例子），或者相比使用多项逻辑回归（即 softmax 回归）具有较高的近似误差，因为此时对数条件概率是仿射的。我们能否调和它们？换句话说，最小二乘真的就是我所需要的全部吗？（我的同事有时会嘲笑我对最小二乘的热爱）。请注意，还有一种（经典）尝试通过最小二乘来看待世界：通过牛顿法进行迭代，在此情境下导致迭代重加权最小二乘，但这仅用于计算，没有统计改进。我们的目标是更强......