HeadlinesBriefing favicon HeadlinesBriefing.com

あなたのモデルのMSEは嘘をつく

Towards Data Science •
×

2つのモデル、1つの数字、正反対の現実。地震の背景、電力負荷、または橋のひずみを記録するセンサーがあり、次の値を予測するモデルを訓練したと想像してください。それは単一の数字を返します:0.5。閾値τ=1.0がアラームを発します。心配すべきでしょうか?モデルには自分が何を知っているかを伝える方法がないため、答えられません。

同じタイムステップでx^=0.5を予測する2つのモデルを想像してください。MSEは小数点以下3桁まで同一です。標準的な指標では、それらは交換可能です。しかし、そうではありません。モデルAは狭い分布を見ています:x ~ N(0.5, 0.01²)。1.0の閾値は50標準偏差離れています—アラームは発しません。モデルBは広い分布を見ています:x ~ N(0.5, 2.0²)。閾値はわずか0.25標準偏差離れています—約40%の確率で超えます。

同じ予測、同じMSE、同じテストセット。しかしリスクは≈0%対≈40%です。避難、電力の再ルーティング、または検出器イベントのフラグを決定する場合、これらは正反対の結論です。MSEはそれらを区別できません。

問題は壊れたモデルではありません。両方とも正しい平均を予測しました。単一の数字は「確信している」対「推測している」を表現できません。これは損失関数の直接的な結果です。MSEがなぜ平均を返し、他的一切を捨てるのか、何に置き換えるべきか、そしてそのコストを解き明かします。

FAQ:なぜMSEは自信のあるモデルと不確実なモデルを区別できないのですか?

MSEは予測値と真値の間の平均二乗差のみを測定します。条件付き分布に関するすべての情報を単一の数字に集約し、不確実性を捨て去ります。同じ平均予測だが vastly 異なる分散を持つ2つのモデルは同一のMSEを持ちますが、リスクに対する含意は正反対です。

FAQ Q:なぜMSEは自信のあるモデルと不確実なモデルを区別できないのですか?

FAQ A:MSEは予測値と真値の間の平均二乗差のみを測定します。条件付き分布に関するすべての情報を単一の数字に集約し、不確実性を捨て去ります。同じ平均予測だが vastly 異なる分散を持つ2つのモデルは同一のMSEを持ちますが、リスクに対する含意は正反対です。