本系列前文表明,一个模型与另一个模型的MSE可能相当,但承担的风险却截然不同;均值与方差输出头在随时间滚动展开后,仍然假设单一的对称钟形曲线。本部分聚焦于不确定性的形状。对于漂移和抖动的信号,钟形曲线是合理的描述。而对于可能跳跃、切换状态,或停留在阈值附近并向任一方向移动的信号,它就不再适用。模型完全可以拥有正确的均值和方差,却仍然描述了一个永远不会发生的未来。
本文从单一钟形曲线出发,转向若干钟形曲线的混合,再到无穷多条钟形曲线,后者能够表达任意形状,但训练难度很高。扩散模型提供了一条出路:噪声被逐步加入信号,再由网络逐步去除,网络学习每一步需要减去什么。最终的训练损失恰好是MSE,文章解释了为何这在此处是可以接受的。预测值则通过这一已学习的去噪过程采样得出。
扩散输出头被接入第二部分中的采样滚动预测,其他部分保持不变。作者强调,这一解释有意做得十分详尽,读者无需预先了解扩散模型,并且配套的笔记本可以复现所有图表。文章提供了一幅包含九个站点的路线图,在呈现数据与实验之前引导读者理解理论。
关键实体:公司:Towards Data Science
问:为何均值和方差都正确的预测仍可能具有误导性?
答:均值和方差描述的是单一的对称钟形曲线。对于可能跳跃、切换状态或在多种结果之间分裂的信号而言,这种形状可能产生看似统计上合理、实则描述了从未真正出现的未来的预测。扩散模型通过学习分布的完整形状来解决这一问题。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要