L'adoption du machine learning ne s'arrête pas à la précision ; elle commence là. Les équipes qui construisent des modèles passent rapidement des métriques globales, comme l'exactitude, le rappel, la précision, le R2 et l'AUPRC/AUROC, à la question de leur niveau de confiance dans chaque prédiction individuelle. Les scores agrégés suffisent rarement à convaincre les parties prenantes des performances réelles, aussi bien qu'on les explique. La prédiction conforme (CP) offre une voie à suivre. Avec chaque prédiction, la CP produit un intervalle qui quantifie l'incertitude, comblant l'écart entre les mesures techniques de performance et la confiance des parties prenantes.
La valeur de la CP réside dans la fiabilité. Une probabilité d'achat client de 77 % semble solide, mais si la plage réelle va de 50 % à 97 %, la prédiction est bien moins fiable qu'une prédiction comprise entre 70 % et 85 %. La CP enveloppe n'importe quel modèle prédictif, qu'il s'agisse de régression, de boosting, de bagging ou de réseaux de neurones, dans un processus statistique sans nécessiter de paquets spécialisés en machine learning.
La CP se compare favorablement à des alternatives comme le bootstrapping et le dropout. Elle ne nécessite pas de spécification de modèle particulière et fonctionne bien sur des modèles en boîte noire. Elle est également peu coûteuse en calcul par rapport à un rééchantillonnage répété. Sa propriété clé est l'échangeabilité, qui permet de considérer les points de calibration et de test comme issus de la même distribution. Si, en moyenne, une proportion α des points de calibration tombe hors de l'intervalle, le même niveau de couverture se vérifie en moyenne pour les points de test.
L'article illustre l'algorithme sur le jeu de données public Online Shoppers Purchasing Intention du UCI Machine Learning Repository, une ressource sous licence typique de la prédiction d'achats clients. Le guide commence par charger les données et les répartir en trois sous-ensembles, comme l'exige la CP.
Source: Towards Data Science · Résumé par HeadlinesBriefing