Un analista de productos presenta un panel de prueba A/B. La tasa de conversión de la variante de tratamiento mejoró en 0,4 puntos porcentuales, y el intervalo de confianza del 95% para el incremento excluye el cero. Cuando una parte interesada pregunta: “Entonces, ¿hay un 95% de probabilidad de que la nueva versión sea mejor?”. Nadie dice que no. Ese silencio es el tema central de este artículo. El 95% en un intervalo de confianza no es una probabilidad asociada al modelo, al parámetro ni a la hipótesis. Es una probabilidad asociada a un procedimiento, y con frecuencia ha engañado a personas en medicina, analítica de productos y finanzas debido a la confusión entre ambos.

El intervalo de confianza tal como la mayoría de la gente lo usa hoy proviene del trabajo de Jerzy Neyman de 1934–37. Un intervalo de confianza del 95% se define de tal manera que, cuando la misma regla de construcción se aplica repetidamente a nuevas muestras, el 95% de los intervalos resultantes contienen el parámetro verdadero. Esta es una afirmación sobre el comportamiento a largo plazo de la regla, no sobre ningún intervalo individual que genere.

La alternativa bayesiana responde a una pregunta diferente. Un intervalo creíble del 95% es simplemente el rango sobre el cual la posterior se integra a 0,95.

Entidades clave: Empresas: Towards Data Science | Personas: Jerzy Neyman

Pregunta frecuente: ¿Qué significa realmente un intervalo de confianza del 95%?

Un intervalo de confianza del 95% significa que si repitiéramos el mismo experimento muchas veces, el 95% de los intervalos construidos contendrían el parámetro verdadero. No significa que haya un 95% de probabilidad de que el parámetro verdadero se encuentre dentro de un solo intervalo.

Pregunta frecuente: ¿Qué significa realmente un intervalo de confianza del 95%?

Respuesta frecuente: Un intervalo de confianza del 95% significa que si repitiéramos el mismo experimento muchas veces, el 95% de los intervalos construidos contendrían el parámetro verdadero. No significa que haya un 95% de probabilidad de que el parámetro verdadero se encuentre dentro de un solo intervalo.