HeadlinesBriefing favicon HeadlinesBriefing.com

Der MSE Ihres Modells belügt Sie

Towards Data Science •
×

Zwei Modelle, eine Zahl, gegensätzliche Realitäten. Stellen Sie sich einen Sensor vor, der seismischen Hintergrund, elektrische Last oder Brückendehnung aufzeichnet, und Sie haben ein Modell trainiert, um den nächsten Wert vorherzusagen. Es gibt eine einzige Zahl aus: 0.5. Ein Schwellenwert τ=1.0 löst einen Alarm aus. Sollten Sie sich Sorgen machen? Sie können nicht antworten, weil dem Modell die Möglichkeit fehlt, Ihnen mitzuteilen, was es weiß.

Stellen Sie sich zwei Modelle vor, die x^=0.5 zum selben Zeitschritt vorhersagen, mit identischem MSE auf drei Dezimalstellen. Nach Standardmetriken sind sie austauschbar. Aber sie sind es nicht. Modell A sieht eine enge Verteilung: x ~ N(0.5, 0.01²). Der Schwellenwert bei 1.0 ist 50 Standardabweichungen entfernt—der Alarm wird nicht ausgelöst. Modell B sieht eine breite Verteilung: x ~ N(0.5, 2.0²). Der Schwellenwert ist nur 0.25 Standardabweichungen entfernt—etwa 40% Wahrscheinlichkeit des Überschreitens.

Dieselbe Vorhersage, derselbe MSE, dasselbe Testset. Aber das Risiko ist ≈0% versus ≈40%. Wenn es um die Entscheidung geht, zu evakuieren, Strom umzuleiten oder ein Detektorereignis zu markieren, sind das gegensätzliche Schlussfolgerungen. MSE kann sie nicht unterscheiden.

Das Problem sind nicht defekte Modelle; beide haben den korrekten Mittelwert vorhergesagt. Eine einzige Zahl kann „Ich bin sicher" versus „Ich rate" nicht ausdrücken. Dies ist eine direkte Konsequenz der Verlustfunktion. Wir werden erklären, warum MSE Ihnen den Mittelwert liefert und alles andere verwirft, wodurch Sie es ersetzen sollten, und die Kosten.