Die meisten KI-Systeme im Produktivbetrieb sind darauf optimiert, eine Antwort zu liefern, statt zu messen, wie unsicher diese Antwort ist. Eine Wachstumsprognose von 8 Prozent wirkt präzise, selbst wenn realistische Ergebnisse von einem Rückgang bis zu einem deutlich größeren Anstieg reichen. Ein Hochrisiko-Kunde kann knapp über einer willkürlich festgelegten Schwelle liegen. Sobald eine Vorhersage eine automatisierte Aktion auslöst, wird verborgene Unsicherheit zu operationalem Risiko.
Bayes'sche Methoden kartieren Unsicherheit mittels Wahrscheinlichkeitsverteilungen statt einzelner geschätzter Werte. Das System sollte die Unsicherheit nutzen, um zu entscheiden, wann es allein handeln kann, wann es einer Prüfung bedarf und wann es sich enthalten sollte. Automatisierung verändert die Kosten der Unsicherheit. Ein KI-System kann Tausende Fälle bewerten und innerhalb von Sekunden handeln. Wenn es sich sicher irrt, vervielfacht es die Fehler.
Ein Bayes'sches Modell kombiniert einen Prior mit beobachteten Daten, um eine Posterior-Verteilung zu erzeugen. Für zukünftige Werte ist die posterior-prädiktive Verteilung entscheidend. Sie vereint die Unsicherheit über Modellparameter mit der Variabilität künftiger Beobachtungen. Nachfragemodelle sollten posterior-prädiktive Intervalle liefern. Churn-Systeme sollten zeigen, ob Wahrscheinlichkeitsschätzungen über Kundensegmente hinweg stabil bleiben.
Konfidenzwerte sollten nicht als Wahrscheinlichkeiten behandelt werden, sofern sie nicht kalibriert sind. Ein Klassifikator kann 90 Prozent Konfidenz melden, ohne 90 Prozent der Zeit korrekt zu sein. Bayes'sche Schutzschienen übersetzen Unsicherheit in Regeln für automatisierte Entscheidungen. Das System muss mögliche Ergebnisse und die Kosten falscher Entscheidungen gegeneinander abwägen.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing