Продуктовый аналитик представляет панель A/B-теста. Конверсия в варианте лечения улучшилась на 0,4 процентного пункта, а 95%-й доверительный интервал для прироста не включает ноль. Когда заинтересованная сторона спрашивает: «Значит, есть 95%-я вероятность, что новая версия лучше?» Никто не говорит нет. Это молчание и есть центральная тема данной статьи. 95% в доверительном интервале — это не вероятность, привязанная к модели, параметру или гипотезе. Это вероятность, привязанная к процедуре, и она часто вводила людей в заблуждение в медицине, продуктовой аналитике и финансах из-за смешения этих двух понятий.

Доверительный интервал в том виде, в каком его использует большинство людей сегодня, происходит из работ Jerzy Neyman 1934–37 годов. 95%-й доверительный интервал определяется так, что при многократном применении одного и того же правила построения к новым выборкам 95% полученных интервалов содержат истинный параметр. Это утверждение о долгосрочном поведении правила, а не о каком-либо отдельном интервале, который оно порождает.

Байесовская альтернатива отвечает на другой вопрос. 95%-й достоверный интервал — это просто диапазон, на котором апостериорное распределение интегрируется до 0,95.

Ключевые сущности: Компании: Towards Data Science | Люди: Jerzy Neyman

Часто задаваемый вопрос: Что на самом деле означает 95%-й доверительный интервал?

95%-й доверительный интервал означает, что если мы повторим один и тот же эксперимент много раз, 95% построенных интервалов будут содержать истинный параметр. Это не означает, что существует 95%-я вероятность того, что истинный параметр лежит внутри какого-либо одного интервала.

Вопрос