Deux modèles, un chiffre, des réalités opposées. Imaginez un capteur qui enregistre le bruit de fond sismique, la charge électrique ou la déformation d'un pont, et vous avez entraîné un modèle pour prévoir la valeur suivante. Il donne un seul nombre : 0.5. Un seuil τ=1.0 déclenche une alarme. Devriez-vous vous inquiéter ? Vous ne pouvez pas répondre car le modèle n'a aucun moyen de vous dire ce qu'il sait.

Imaginez deux modèles prédisant x^=0.5 au même pas de temps, avec un MSE identique à trois décimales près. Selon les métriques standard, ils sont interchangeables. Mais ils ne le sont pas. Le modèle A voit une distribution étroite : x ~ N(0.5, 0.01²). Le seuil à 1.0 est à 50 écarts-types—l'alarme ne se déclenchera pas. Le modèle B voit une distribution large : x ~ N(0.5, 2.0²). Le seuil n'est qu'à 0.25 écart-type—environ 40% de chance de le franchir.

Même prévision, même MSE, même ensemble de test. Mais le risque est ≈0% contre ≈40%. S'il s'agit de décider d'évacuer, de rediriger l'énergie ou de signaler un événement détecteur, ce sont des conclusions opposées. Le MSE ne peut pas les distinguer.

Le problème n'est pas des modèles défaillants ; les deux ont prédit la bonne moyenne. Un seul nombre ne peut pas exprimer « je suis sûr » versus « je devine ». C'est une conséquence directe de la fonction de perte. Nous allons expliquer pourquoi le MSE vous donne la moyenne et jette tout le reste, par quoi le remplacer, et le coût.

FAQ : Pourquoi le MSE ne peut-il pas distinguer un modèle confiant d'un modèle incertain ?

Le MSE ne mesure que la différence quadratique moyenne entre les prédictions et les valeurs réelles. Il réduit toute l'information sur la distribution conditionnelle à un seul nombre, en écartant l'incertitude. Deux modèles avec la même prédiction moyenne mais des variances très différentes auront un MSE identique, mais des implications opposées pour le risque.

FAQ Q : Pourquoi le MSE ne peut-il pas distinguer un modèle confiant d'un modèle incertain ?

FAQ A : Le MSE ne mesure que la différence quadratique moyenne entre les prédictions et les valeurs réelles. Il réduit toute l'information sur la distribution conditionnelle à un seul nombre, en écartant l'incertitude. Deux modèles avec la même prédiction moyenne mais des variances très différentes auront un MSE identique, mais des implications opposées pour le risque.