HeadlinesBriefing favicon HeadlinesBriefing.com

你的模型的MSE在欺骗你

Towards Data Science •
×

两个模型,一个数字,截然相反的现实。想象一个传感器正在记录地震背景、电力负荷或桥梁应变,而你已经训练了一个模型来预测下一个值。它给出一个单一数字:0.5。阈值τ=1.0触发警报。你应该担心吗?你无法回答,因为模型缺乏告诉你它知道什么的方式。

想象两个模型在同一个时间步预测x^=0.5,MSE精确到小数点后三位完全相同。按照标准指标,它们可以互换。但事实并非如此。模型A看到一个紧密的分布:x ~ N(0.5, 0.01²)。1.0处的阈值距离50个标准差——警报不会触发。模型B看到一个宽泛的分布:x ~ N(0.5, 2.0²)。阈值仅距离0.25个标准差——大约40%的跨越概率。

相同的预测,相同的MSE,相同的测试集。但风险约为0%对约40%。如果决定疏散、改道电力或标记探测器事件,这些是截然相反的结论。MSE无法区分它们。

问题不在于模型损坏;两者都预测了正确的均值。一个单一数字无法表达“我确定”与“我在猜测”。这是损失函数的直接后果。我们将剖析为什么MSE只给你均值而丢弃其他一切,用什么来替代它,以及代价是什么。

FAQ:为什么MSE无法区分自信的模型和不确定的模型?

MSE只测量预测值与真实值之间的平均平方差。它将关于条件分布的所有信息压缩为一个单一数字,丢弃了不确定性。两个具有相同均值预测但方差截然不同的模型将具有相同的MSE,但对风险的含义却截然相反。

FAQ Q:为什么MSE无法区分自信的模型和不确定的模型?

FAQ A:MSE只测量预测值与真实值之间的平均平方差。它将关于条件分布的所有信息压缩为一个单一数字,丢弃了不确定性。两个具有相同均值预测但方差截然不同的模型将具有相同的MSE,但对风险的含义却截然相反。