Ein Produktanalyst präsentiert ein A/B-Test-Dashboard. Die Konversionsrate der Behandlungsvariante verbesserte sich um 0,4 Prozentpunkte, und das 95%-Konfidenzintervall für den Zuwachs schließt Null aus. Als eine Stakeholderin fragt: „Es besteht also eine 95%-Wahrscheinlichkeit, dass die neue Version besser ist?“ Sagt niemand Nein. Dieses Schweigen ist das zentrale Thema dieses Artikels. Die 95% in einem Konfidenzintervall sind keine Wahrscheinlichkeit, die an das Modell, den Parameter oder die Hypothese gebunden ist. Sie ist eine Wahrscheinlichkeit, die an ein Verfahren gebunden ist, und sie hat Menschen in der Medizin, der Produktanalyse und im Finanzwesen häufig in die Irre geführt, weil die beiden verwechselt werden.

Das Konfidenzintervall, wie es die meisten Menschen heute verwenden, stammt aus Jerzy Neymans Arbeit von 1934–37. Ein 95%-Konfidenzintervall ist so definiert, dass, wenn dieselbe Konstruktionsregel wiederholt auf neue Stichproben angewendet wird, 95% der resultierenden Intervalle den wahren Parameter enthalten. Dies ist eine Aussage über das langfristige Verhalten der Regel, nicht über ein einzelnes von ihr erzeugtes Intervall.

Die Bayes'sche Alternative beantwortet eine andere Frage. Ein 95%-Glaubwürdigkeitsintervall ist einfach der Bereich, über den die Posterior auf 0,95 integriert.

Wichtige Entitäten: Unternehmen: Towards Data Science | Personen: Jerzy Neyman