HeadlinesBriefing favicon HeadlinesBriefing.com

El MSE de tu modelo te miente

Towards Data Science •
×

Dos modelos, un número, realidades opuestas. Imagina un sensor que registra el fondo sísmico, la carga eléctrica o la deformación de un puente, y has entrenado un modelo para pronosticar el siguiente valor. Da un solo número: 0.5. Un umbral τ=1.0 dispara una alarma. ¿Deberías preocuparte? No puedes responder porque el modelo carece de una forma de decirte lo que sabe.

Imagina dos modelos que predicen x^=0.5 en el mismo paso temporal, con un MSE idéntico hasta tres decimales. Según las métricas estándar, son intercambiables. Pero no lo son. El Modelo A ve una distribución estrecha: x ~ N(0.5, 0.01²). El umbral en 1.0 está a 50 desviaciones estándar de distancia—la alarma no se disparará. El Modelo B ve una distribución amplia: x ~ N(0.5, 2.0²). El umbral está a solo 0.25 desviaciones estándar de distancia—aproximadamente 40% de probabilidad de cruzarlo.

Mismo pronóstico, mismo MSE, mismo conjunto de prueba. Pero el riesgo es ≈0% versus ≈40%. Si se decide evacuar, redirigir energía o marcar un evento detector, esas son conclusiones opuestas. El MSE no puede distinguirlas.

El problema no son modelos rotos; ambos predijeron la media correcta. Un solo número no puede expresar "estoy seguro" versus "estoy adivinando". Esto es una consecuencia directa de la función de pérdida. Analizaremos por qué el MSE te entrega la media y descarta todo lo demás, con qué reemplazarlo, y el costo.