HeadlinesBriefing favicon HeadlinesBriefing.com

MSE вашей модели лжёт вам

Towards Data Science •
×

Две модели, одно число, противоположные реальности. Представьте датчик, регистрирующий сейсмический фон, электрическую нагрузку или деформацию моста, и вы обучили модель прогнозировать следующее значение. Она выдаёт одно число: 0.5. Порог τ=1.0 запускает тревогу. Стоит ли беспокоиться? Вы не можете ответить, потому что у модели нет способа сообщить вам, что она знает.

Представьте две модели, предсказывающие x^=0.5 на одном и том же временном шаге, с идентичным MSE с точностью до трёх знаков после запятой. По стандартным метрикам они взаимозаменяемы. Но это не так. Модель A видит узкое распределение: x ~ N(0.5, 0.01²). Порог на 1.0 находится на расстоянии 50 стандартных отклонений—тревога не сработает. Модель B видит широкое распределение: x ~ N(0.5, 2.0²). Порог находится всего в 0.25 стандартных отклонения—примерно 40% вероятность пересечения.

Тот же прогноз, тот же MSE, тот же тестовый набор. Но риск ≈0% против ≈40%. Если решение касается эвакуации, перенаправления энергии или отметки события детектора, это противоположные выводы. MSE не может их различить.

Проблема не в сломанных моделях; обе предсказали правильное среднее. Одно число не может выразить «я уверен» против «я угадываю». Это прямое следствие функции потерь. Мы разберём, почему MSE даёт вам среднее и отбрасывает всё остальное, чем его заменить, и какова цена.