A adoção de aprendizado de máquina não para na precisão; é aí que ela começa. As equipes que constroem modelos logo passam de métricas gerais, como acurácia, recall, precisão, R2 e AUPRC/AUROC, para a pergunta sobre quanta confiança podem ter em cada previsão individual. Pontuações agregadas muitas vezes não bastam para convencer as partes interessadas do desempenho real, por mais cuidadosamente que sejam explicadas. A predição conforme (CP) oferece um caminho a seguir. Junto de cada previsão, a CP produz um intervalo que quantifica a incerteza, fazendo a ponte entre medidas técnicas de desempenho e a confiança das partes interessadas.
O valor da CP está na confiabilidade. Uma probabilidade de compra do cliente de 77% soa forte, mas se a faixa real vai de 50% a 97%, a previsão é muito menos confiável do que uma delimitada entre 70% e 85%. A CP envolve qualquer modelo preditivo, seja de regressão, boosting, bagging ou redes neurais, em um processo estatístico sem exigir pacotes especializados de aprendizado de máquina.
A CP se compara favoravelmente a alternativas como bootstrapping e dropout. Não requer uma especificação particular de modelo e funciona bem com modelos de caixa-preta. Também é computacionalmente barata em comparação com reamostragens repetidas. Sua propriedade-chave é a intercambiabilidade, que permite tratar os pontos de calibração e de teste como extraídos da mesma distribuição. Se, em média, uma proporção α dos pontos de calibração cai fora do intervalo, o mesmo nível de cobertura vale, em média, para os pontos de teste.
O artigo demonstra o algoritmo com o conjunto de dados público Online Shoppers Purchasing Intention, do UCI Machine Learning Repository, um recurso licenciado típico da previsão de compras de clientes. O passo a passo começa carregando os dados e dividindo-os em três subconjuntos, como a CP exige.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing