Seorang analis produk menyajikan dasbor uji A/B. Tingkat konversi varian perlakuan meningkat sebesar 0,4 poin persentase, dan interval keyakinan 95% untuk peningkatan tersebut tidak mencakup nol. Ketika seorang pemangku kepentingan bertanya: “Jadi ada kemungkinan 95% versi baru lebih baik?” Tidak ada yang mengatakan tidak. Keheningan itulah subjek utama artikel ini. Angka 95% dalam interval keyakinan bukanlah probabilitas yang melekat pada model, parameter, atau hipotesis. Itu adalah probabilitas yang melekat pada suatu prosedur, dan sering menyesatkan orang di bidang medis, analitik produk, dan keuangan karena kebingungan antara keduanya.

Interval keyakinan seperti yang digunakan sebagian besar orang saat ini berasal dari karya Jerzy Neyman tahun 1934–37. Interval keyakinan 95% didefinisikan sedemikian rupa sehingga, ketika aturan konstruksi yang sama diterapkan berulang kali pada sampel baru, 95% interval yang dihasilkan memuat parameter sebenarnya. Ini adalah pernyataan tentang perilaku jangka panjang aturan tersebut, bukan tentang interval tunggal yang dihasilkannya.

Alternatif Bayesian menjawab pertanyaan yang berbeda. Interval kredibel 95% hanyalah rentang di mana posterior terintegrasi hingga 0,95.

Entitas Utama: Perusahaan: Towards Data Science | Orang: Jerzy Neyman