HeadlinesBriefing favicon HeadlinesBriefing.com

आपके मॉडल का MSE झूठ बोल रहा है

Towards Data Science •
×

दो मॉडल, एक संख्या, विपरीत वास्तविकताएँ। कल्पना करें कि एक सेंसर भूकंपीय पृष्ठभूमि, विद्युत भार, या पुल की विकृति रिकॉर्ड कर रहा है, और आपने अगले मान का पूर्वानुमान लगाने के लिए एक मॉडल प्रशिक्षित किया है। यह एक एकल संख्या देता है: 0.5। एक थ्रेशोल्ड τ=1.0 अलार्म बजाता है। क्या आपको चिंता करनी चाहिए? आप उत्तर नहीं दे सकते क्योंकि मॉडल में आपको यह बताने का कोई तरीका नहीं है कि वह क्या जानता है।

कल्पना करें कि दो मॉडल एक ही समय-चरण पर x^=0.5 की भविष्यवाणी करते हैं, तीन दशमलव स्थानों तक समान MSE के साथ। मानक मेट्रिक्स के अनुसार, वे विनिमेय हैं। लेकिन वे नहीं हैं। मॉडल A एक सघन वितरण देखता है: x ~ N(0.5, 0.01²)। 1.0 पर थ्रेशोल्ड 50 मानक विचलन दूर है—अलार्म नहीं बजेगा। मॉडल B एक चौड़ा वितरण देखता है: x ~ N(0.5, 2.0²)। थ्रेशोल्ड केवल 0.25 मानक विचलन दूर है—लगभग 40% पार करने की संभावना।

समान पूर्वानुमान, समान MSE, समान परीक्षण सेट। लेकिन जोखिम ≈0% बनाम ≈40% है। यदि निकासी का निर्णय लेना, बिजली को पुनर्मार्गित करना, या डिटेक्टर घटना को चिह्नित करना है, तो ये विपरीत निष्कर्ष हैं। MSE उन्हें अलग नहीं कर सकता।

समस्या टूटे हुए मॉडल नहीं हैं; दोनों ने सही माध्य की भविष्यवाणी की। एक एकल संख्या "मैं निश्चित हूँ" बनाम "मैं अनुमान लगा रहा हूँ" को व्यक्त नहीं कर सकती। यह हानि फ़ंक्शन का सीधा परिणाम है। हम यह समझेंगे कि MSE आपको माध्य क्यों देता है और बाकी सब कुछ क्यों छोड़ देता है, इसके बदले क्या लगाना है, और इसकी कीमत क्या है।