Um analista de produtos apresenta um painel de teste A/B. A taxa de conversão da variante de tratamento melhorou em 0,4 ponto percentual, e o intervalo de confiança de 95% para o aumento exclui zero. Quando uma parte interessada pergunta: “Então há 95% de chance de a nova versão ser melhor?” Ninguém diz não. Esse silêncio é o tema central deste artigo. Os 95% em um intervalo de confiança não são uma probabilidade ligada ao modelo, ao parâmetro ou à hipótese. É uma probabilidade ligada a um procedimento, e tem frequentemente enganado pessoas na medicina, na análise de produtos e nas finanças por causa da confusão entre os dois.

O intervalo de confiança como a maioria das pessoas o usa hoje vem do trabalho de Jerzy Neyman de 1934–37. Um intervalo de confiança de 95% é definido de tal forma que, quando a mesma regra de construção é aplicada repetidamente a novas amostras, 95% dos intervalos resultantes contêm o parâmetro verdadeiro. Esta é uma afirmação sobre o comportamento de longo prazo da regra, não sobre qualquer intervalo individual que ela gere.

A alternativa bayesiana responde a uma pergunta diferente. Um intervalo credível de 95% é simplesmente o intervalo sobre o qual a posteriori integra para 0,95.

Entidades principais: Empresas: Towards Data Science | Pessoas: Jerzy Neyman

Pergunta frequente: O que um intervalo de confiança de 95% realmente significa?

Um intervalo de confiança de 95% significa que, se repetíssemos o mesmo experimento muitas vezes, 95% dos intervalos construídos conteriam o parâmetro verdadeiro. Não significa que há 95% de probabilidade de o parâmetro verdadeiro estar dentro de qualquer intervalo individual.

Pergunta frequente: O que um intervalo de confiança de 95% realmente significa?

Resposta frequente: Um intervalo de confiança de 95% significa que, se repetíssemos o mesmo experimento muitas vezes, 95% dos intervalos construídos conteriam o parâmetro verdadeiro. Não significa que há 95% de probabilidade de o parâmetro verdadeiro estar dentro de qualquer intervalo individual.