Внедрение машинного обучения не заканчивается на точности, а именно с нее и начинается. Команды, создающие модели, быстро переходят от общих метрик, таких как точность, полнота, прецизионность, R2 и AUPRC/AUROC, к вопросу о том, насколько они уверены в каждом отдельном прогнозе. Сводные оценки часто недостаточны, чтобы убедить заинтересованные стороны в реальной эффективности, как бы тщательно их ни объясняли. Конформное предсказание (CP) предлагает путь вперед. Вместе с каждым прогнозом CP формирует интервал, который количественно оценивает неопределенность, соединяя технические показатели эффективности с доверием заинтересованных сторон.
Ценность CP заключается в надежности. Вероятность покупки клиентом 77% звучит убедительно, но если реальный диапазон простирается от 50% до 97%, прогноз гораздо менее надежен, чем прогноз, ограниченный интервалом от 70% до 85%. CP оборачивает любую прогнозную модель, будь то регрессия, бустинг, бэггинг или нейронные сети, в статистическую процедуру, не требуя специализированных пакетов машинного обучения.
По сравнению с альтернативами, такими как бутстрэп и дропаут, CP выглядит выгодно. Он не требует особой спецификации модели и хорошо работает с моделями типа «черный ящик». Он также вычислительно дешев по сравнению с многократным ресэмплингом. Его ключевое свойство — обмениваемость, которая позволяет рассматривать калибровочные и тестовые точки как выборку из одного и того же распределения. Если в среднем доля α калибровочных точек оказывается вне интервала, тот же уровень покрытия в среднем сохраняется и для тестовых точек.
В статье алгоритм демонстрируется на открытом наборе данных Online Shoppers Purchasing Intention из репозитория UCI Machine Learning, лицензированном ресурсе, типичном для прогнозирования покупок клиентов. Пошаговое руководство начинается с загрузки данных и разбиения их на три подмножества, что требуется для CP.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing