التنبؤ المطابق: من الدقة إلى موثوقية تعلم الآلة

لا يتوقف اعتماد تعلم الآلة عند الدقة، بل يبدأ منها. فالفرق التي تبني النماذج تنتقل سريعاً من المقاييس الإجمالية مثل الدقة والاستدعاء والضبط وR2 وAUPRC/AUROC إلى السؤال عن مدى ثقتها في كل توقع فردي. وغالباً لا تكفي الدرجات المجمعة لإقناع أصحاب المصلحة بالأداء الفعلي، مهما شُرحت بعناية. ويقدم التنبؤ المطابق (CP) طريقاً للمضي قدماً. فإلى جانب كل توقع، ينتج CP فترة تحدد حجم عدم اليقين، فيسد الفجوة بين مقاييس الأداء التقنية وثقة أصحاب المصلحة.

تكمن قيمة CP في الموثوقية. فاحتمال شراء العميل بنسبة 77% يبدو قوياً، لكن إذا كان النطاق الحقيقي يمتد من 50% إلى 97%، فإن التوقع أقل اعتمادية بكثير من توقع محصور بين 70% و85%. ويغلف CP أي نموذج تنبؤي، سواء كان انحداراً أو تعزيزاً أو تجميعاً أو شبكات عصبية، بعملية إحصائية دون الحاجة إلى حزم متخصصة في تعلم الآلة.

ويتفوق CP على بدائل مثل إعادة العينة الذاتية والإسقاط العشوائي. فهو لا يتطلب مواصفات نموذج معينة ويعمل جيداً مع النماذج الصندوقية السوداء. كما أنه رخيص حسابياً مقارنة بإعادة الأخذ بالعينات المتكررة. وخاصيته الأساسية هي قابلية التبادل، التي تتيح معاملة نقاط المعايرة ونقاط الاختبار على أنها مسحوبة من التوزيع نفسه. فإذا وقعت نسبة α من نقاط المعايرة في المتوسط خارج الفترة، فإن مستوى التغطية نفسه يبقى صحيحاً في المتوسط لنقاط الاختبار.

ويوضح المقال الخوارزمية باستخدام مجموعة بيانات Online Shoppers Purchasing Intention المتاحة للعامة من مستودع UCI Machine Learning، وهي مورد مرخص نموذجي لتوقع شراء العملاء. ويبدأ الشرح بتحميل البيانات وتقسيمها إلى ثلاث مجموعات فرعية كما يتطلب CP.

المصدر: Towards Data Science · لخّصه HeadlinesBriefing