Adopsi machine learning tidak berhenti pada akurasi; justru di situlah ia dimulai. Tim yang membangun model dengan cepat beralih dari metrik keseluruhan seperti akurasi, recall, presisi, R2, dan AUPRC/AUROC ke pertanyaan seberapa yakin mereka terhadap setiap prediksi individual. Skor agregat sering kali tidak cukup untuk meyakinkan para pemangku kepentingan tentang kinerja nyata, sebaik apa pun penjelasannya. Prediksi konformal (CP) menawarkan jalan ke depan. Bersama setiap prediksi, CP menghasilkan interval yang mengukur ketidakpastian, menjembatani kesenjangan antara ukuran kinerja teknis dan kepercayaan pemangku kepentingan.
Nilai CP terletak pada keandalan. Probabilitas pembelian pelanggan sebesar 77% terdengar kuat, tetapi jika rentang sebenarnya berada antara 50% hingga 97%, prediksi tersebut jauh kurang dapat diandalkan dibandingkan prediksi yang berada di antara 70% dan 85%. CP membungkus proses statistik di sekitar model prediktif apa pun, baik regresi, boosting, bagging, maupun jaringan saraf, tanpa memerlukan paket machine learning khusus.
CP unggul dibandingkan alternatif seperti bootstrapping dan dropout. Ia tidak memerlukan spesifikasi model tertentu dan bekerja baik pada model black-box. Biayanya juga murah secara komputasi dibandingkan resampling berulang. Properti kuncinya adalah exchangeability, yang memungkinkan titik kalibrasi dan titik uji diperlakukan sebagai berasal dari distribusi yang sama. Jika rata-rata proporsi α titik kalibrasi berada di luar interval, tingkat cakupan yang sama berlaku rata-rata untuk titik uji.
Artikel ini mendemonstrasikan algoritma tersebut menggunakan Online Shoppers Purchasing Intention Dataset dari UCI Machine Learning Repository, sumber berlisensi yang lazim untuk prediksi pembelian pelanggan. Panduan dimulai dengan memuat data dan membaginya menjadi tiga subset, sebagaimana diperlukan oleh CP.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing