HeadlinesBriefing favicon HeadlinesBriefing.com

O MSE do seu modelo está mentindo

Towards Data Science •
×

Dois modelos, um número, realidades opostas. Imagine um sensor registrando o ruído sísmico de fundo, a carga elétrica ou a deformação de uma ponte, e você treinou um modelo para prever o próximo valor. Ele fornece um único número: 0.5. Um limiar τ=1.0 dispara um alarme. Você deveria se preocupar? Você não pode responder porque o modelo não tem como lhe dizer o que sabe.

Imagine dois modelos prevendo x^=0.5 no mesmo passo de tempo, com MSE idêntico até três casas decimais. Pelas métricas padrão, eles são intercambiáveis. Mas não são. O Modelo A vê uma distribuição estreita: x ~ N(0.5, 0.01²). O limiar em 1.0 está a 50 desvios padrão de distância—o alarme não disparará. O Modelo B vê uma distribuição ampla: x ~ N(0.5, 2.0²). O limiar está a apenas 0.25 desvios padrão de distância—aproximadamente 40% de chance de cruzar.

Mesma previsão, mesmo MSE, mesmo conjunto de teste. Mas o risco é ≈0% versus ≈40%. Se a decisão é evacuar, redirecionar energia ou sinalizar um evento detector, essas são conclusões opostas. O MSE não consegue distingui-las.

O problema não são modelos quebrados; ambos previram a média correta. Um único número não pode expressar "tenho certeza" versus "estou adivinhando". Isso é uma consequência direta da função de perda. Vamos explicar por que o MSE lhe entrega a média e descarta todo o resto, o que usar em seu lugar, e o custo.