La plupart des systèmes d'IA en production sont optimisés pour fournir une réponse plutôt que pour mesurer le degré d'incertitude de cette réponse. Une prévision de croissance de 8 % semble précise, même lorsque les résultats réalistes vont d'un déclin à une augmentation bien plus importante. Un client à haut risque peut se trouver juste au-dessus d'un seuil fixé arbitrairement. Dès qu'une prédiction déclenche une action automatisée, l'incertitude cachée devient un risque opérationnel.
Les méthodes bayésiennes cartographient l'incertitude via des distributions de probabilité plutôt que des valeurs estimées uniques. Le système doit utiliser l'incertitude pour décider quand il peut agir seul, quand il nécessite un examen et quand il doit s'abstenir. L'automatisation modifie le coût de l'incertitude. Un système d'IA peut évaluer des milliers de cas et agir en quelques secondes. S'il se trompe avec assurance, il multiplie les erreurs.
Un modèle bayésien combine un a priori avec des données observées pour produire une distribution a posteriori. Pour les valeurs futures, la distribution prédictive a posteriori est cruciale. Elle combine l'incertitude sur les paramètres du modèle avec la variabilité des observations futures. Les modèles de demande doivent fournir des intervalles prédictifs a posteriori. Les systèmes de churn doivent montrer si les estimations de probabilité restent stables entre les segments de clients.
Les scores de confiance ne doivent pas être traités comme des probabilités sans être calibrés. Un classifieur peut afficher une confiance de 90 % sans être correct 90 % du temps. Les garde-fous bayésiens traduisent l'incertitude en règles pour les décisions automatisées. Le système doit peser les résultats possibles et les coûts des décisions erronées.
Source: Towards Data Science · Résumé par HeadlinesBriefing