Un analyste produit présente un tableau de bord de test A/B. Le taux de conversion de la variante traitée s’est amélioré de 0,4 point de pourcentage, et l’intervalle de confiance à 95 % pour l’amélioration exclut zéro. Lorsqu’une partie prenante demande : « Donc il y a 95 % de chances que la nouvelle version soit meilleure ? » Personne ne dit non. Ce silence est le sujet central de cet article. Les 95 % dans un intervalle de confiance ne sont pas une probabilité attachée au modèle, au paramètre ou à l’hypothèse. C’est une probabilité attachée à une procédure, et elle a souvent induit les gens en erreur en médecine, en analyse produit et en finance à cause de la confusion entre les deux.

L’intervalle de confiance tel que la plupart des gens l’utilisent aujourd’hui provient des travaux de Jerzy Neyman de 1934–37. Un intervalle de confiance à 95 % est défini de telle sorte que, lorsque la même règle de construction est appliquée de façon répétée à de nouveaux échantillons, 95 % des intervalles résultants contiennent le vrai paramètre. C’est un énoncé sur le comportement à long terme de la règle, et non sur un intervalle particulier qu’elle génère.

L’alternative bayésienne répond à une question différente. Un intervalle crédible à 95 % est simplement l’étendue sur laquelle la postérieure s’intègre à 0,95.

Entités clés : Entreprises : Towards Data Science | Personnes : Jerzy Neyman

FAQ : Que signifie réellement un intervalle de confiance à 95 % ?

Un intervalle de confiance à 95 % signifie que si nous répétions la même expérience de nombreuses fois, 95 % des intervalles construits contiendraient le vrai paramètre. Cela ne signifie pas qu’il y a 95 % de probabilité que le vrai paramètre se trouve dans un intervalle donné.

Question FAQ : Que signifie réellement un intervalle de confiance à 95 % ?

Réponse FAQ : Un intervalle de confiance à 95 % signifie que si nous répétions la même expérience de nombreuses fois, 95 % des intervalles construits contiendraient le vrai paramètre. Cela ne signifie pas qu’il y a 95 % de probabilité que le vrai paramètre se trouve dans un intervalle donné.