La adopción del aprendizaje automático no termina en la precisión; allí es donde empieza. Los equipos que construyen modelos pronto pasan de métricas globales como la exactitud, la exhaustividad, la precisión, R2 y AUPRC/AUROC a preguntarse con cuánta confianza pueden fiarse de cada predicción individual. Las puntuaciones agregadas a menudo no bastan para convencer a las partes interesadas del rendimiento real, por muy bien que se expliquen. La predicción conforme (CP) ofrece un camino a seguir. Junto con cada predicción, CP produce un intervalo que cuantifica la incertidumbre, tendiendo un puente entre las medidas técnicas de rendimiento y la confianza de las partes interesadas.
El valor de CP reside en la fiabilidad. Una probabilidad de compra del cliente del 77 % suena sólida, pero si el rango real va del 50 % al 97 %, la predicción es mucho menos fiable que una acotada entre el 70 % y el 85 %. CP envuelve cualquier modelo predictivo, ya sea de regresión, boosting, bagging o redes neuronales, en un proceso estadístico sin necesidad de paquetes especializados de aprendizaje automático.
CP se compara favorablemente con alternativas como el bootstrapping y el dropout. No requiere una especificación particular del modelo y funciona bien con modelos de caja negra. Además, es computacionalmente económica en comparación con el remuestreo repetido. Su propiedad clave es la intercambiabilidad, que permite tratar los puntos de calibración y de prueba como extraídos de la misma distribución. Si, en promedio, una proporción α de los puntos de calibración cae fuera del intervalo, el mismo nivel de cobertura se mantiene, en promedio, para los puntos de prueba.
El artículo muestra el algoritmo con el conjunto de datos público Online Shoppers Purchasing Intention Dataset del repositorio UCI Machine Learning, un recurso con licencia típico de la predicción de compras de clientes. El recorrido comienza cargando los datos y dividiéndolos en tres subconjuntos, como exige CP.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing