あるプロダクトアナリストがA/Bテストのダッシュボードを提示する。処置群のコンバージョン率は0.4パーセントポイント改善し、リフトの95%信頼区間はゼロを含まない。ステークホルダーが「では、新しいバージョンが優れている確率は95%ですか？」と尋ねる。誰も「いいえ」とは言わない。その沈黙が本稿の中心テーマである。信頼区間における95%は、モデル、パラメータ、仮説に付随する確率ではない。それは手続きに付随する確率であり、両者の混同のため、医学、プロダクト分析、金融で人々をしばしば誤解させてきた。

今日ほとんどの人が使う信頼区間は、Jerzy Neymanの1934–37年の研究に由来する。95%信頼区間は、同じ構成規則を新しい標本に繰り返し適用したとき、得られる区間の95%が真のパラメータを含むように定義される。これは規則の長期的な振る舞いについての記述であり、それが生成する個々の区間についての記述ではない。

ベイズ的な代替案は別の問いに答える。95%信用区間は、事後分布が0.95に積分される範囲にすぎない。

主要エンティティ：企業：Towards Data Science | 人物：Jerzy Neyman

FAQ：95%信頼区間は実際には何を意味するのか？

95%信頼区間とは、同じ実験を何度も繰り返した場合、構成された区間の95%が真のパラメータを含むことを意味する。真のパラメータが単一の区間内にある確率が95%であることを意味するのではない。

FAQ質問：95%信頼区間は実際には何を意味するのか？

FAQ回答：95%信頼区間とは、同じ実験を何度も繰り返した場合、構成された区間の95%が真のパラメータを含むことを意味する。真のパラメータが単一の区間内にある確率が95%であることを意味するのではない。