मशीन लर्निंग को अपनाने की शुरुआत सटीकता से होती है, वहीं पर खत्म नहीं होती। मॉडल बनाने वाली टीमें जल्दी ही सटीकता, रिकॉल, प्रिसिजन, R2 और AUPRC/AUROC जैसे समग्र मेट्रिक्स से आगे बढ़कर यह देखने लगती हैं कि हर व्यक्तिगत पूर्वानुमान पर वे कितना भरोसा कर सकती हैं। समग्र स्कोर, चाहे उन्हें कितनी भी सावधानी से समझाया जाए, अक्सर हितधारकों को वास्तविक दुनिया के प्रदर्शन पर आश्वस्त करने के लिए पर्याप्त नहीं होते। कन्फॉर्मल प्रेडिक्शन (CP) आगे का रास्ता देता है। हर पूर्वानुमान के साथ CP एक अंतराल देता है जो अनिश्चितता को मापता है, और इस तरह तकनीकी प्रदर्शन मापों और हितधारकों के भरोसे के बीच की खाई को पाटता है।
CP का मूल्य विश्वसनीयता में निहित है। ग्राहक द्वारा खरीदारी की 77% संभावना सुनने में मजबूत लगती है, लेकिन यदि वास्तविक सीमा 50% से 97% तक है, तो यह पूर्वानुमान उस पूर्वानुमान से कहीं कम भरोसेमंद है जो 70% से 85% के बीच सीमित हो। CP किसी भी पूर्वानुमानित मॉडल के चारों ओर एक सांख्यिकीय प्रक्रिया लपेटता है, चाहे वह रिग्रेशन, बूस्टिंग, बैगिंग या न्यूरल नेटवर्क हो, और इसके लिए विशेष मशीन लर्निंग पैकेज की आवश्यकता नहीं होती।
बूटस्ट्रैपिंग और ड्रॉपआउट जैसे विकल्पों की तुलना में CP बेहतर है। इसे किसी विशेष मॉडल विनिर्देश की आवश्यकता नहीं होती और यह ब्लैक-बॉक्स मॉडलों पर अच्छी तरह काम करता है। बार-बार रीसैंपलिंग की तुलना में यह कम्प्यूटेशनल रूप से भी सस्ता है। इसका मुख्य गुण एक्सचेंजेबिलिटी है, जो कैलिब्रेशन और टेस्ट बिंदुओं को एक ही वितरण से लिए गए मानने की अनुमति देता है। यदि औसतन α अनुपात के कैलिब्रेशन बिंदु अंतराल से बाहर आते हैं, तो औसतन टेस्ट बिंदुओं के लिए भी वही कवरेज स्तर बना रहता है।
लेख UCI मशीन लर्निंग रिपॉजिटरी के सार्वजनिक Online Shoppers Purchasing Intention Dataset पर एल्गोरिदम का प्रदर्शन करता है, जो ग्राहक खरीद पूर्वानुमान के लिए एक लाइसेंस प्राप्त और विशिष्ट संसाधन है। वॉकथ्रू डेटा लोड करने और उसे CP की आवश्यकता के अनुसार तीन उपसमूहों में बाँटने से शुरू होता है।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित