Die Einführung von maschinellem Lernen endet nicht bei der Genauigkeit, sondern beginnt dort. Teams, die Modelle entwickeln, wechseln schnell von Gesamtmetriken wie Accuracy, Recall, Precision, R2 und AUPRC/AUROC zu der Frage, wie sicher sie sich bei jeder einzelnen Vorhersage sein können. Aggregierte Werte reichen oft nicht aus, um Stakeholder von der tatsächlichen Leistung zu überzeugen, so sorgfältig sie auch erklärt werden. Die konforme Vorhersage (CP) bietet einen Ausweg. Zu jeder Vorhersage liefert CP ein Intervall, das die Unsicherheit quantifiziert, und schließt so die Lücke zwischen technischen Leistungskennzahlen und dem Vertrauen der Stakeholder.
Der Wert von CP liegt in der Verlässlichkeit. Eine Kaufwahrscheinlichkeit von 77 % klingt stark, doch wenn der tatsächliche Bereich von 50 % bis 97 % reicht, ist die Vorhersage deutlich weniger verlässlich als eine, die zwischen 70 % und 85 % eingegrenzt ist. CP umhüllt jedes Vorhersagemodell, sei es Regression, Boosting, Bagging oder neuronale Netze, mit einem statistischen Verfahren, ohne spezielle Machine-Learning-Pakete zu benötigen.
CP schneidet im Vergleich zu Alternativen wie Bootstrapping und Dropout günstig ab. Es erfordert keine besondere Modellspezifikation und funktioniert gut mit Black-Box-Modellen. Zudem ist es im Vergleich zu wiederholtem Resampling rechnerisch günstig. Seine zentrale Eigenschaft ist die Austauschbarkeit, die es erlaubt, Kalibrierungs- und Testpunkte als aus derselben Verteilung stammend zu behandeln. Liegt im Mittel ein Anteil α der Kalibrierungspunkte außerhalb des Intervalls, so gilt im Mittel dasselbe Abdeckungsniveau auch für Testpunkte.
Der Artikel demonstriert den Algorithmus am öffentlichen Datensatz Online Shoppers Purchasing Intention aus dem UCI Machine Learning Repository, einer lizenzierten Ressource, wie sie für die Vorhersage von Kundenkäufen typisch ist. Die Anleitung beginnt mit dem Laden der Daten und deren Aufteilung in drei Teilmengen, wie es CP verlangt.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing