मशीन-लर्निंग मॉडल को आमतौर पर उनके प्रशिक्षित होने योग्य पैरामीटर की संख्या से वर्णित किया जाता है, लेकिन यह आंकड़ा भ्रामक हो सकता है। किसी मॉडल में कई पैरामीटर हो सकते हैं जो उसके आउटपुट को प्रभावित करने के वास्तव में स्वतंत्र तरीके नहीं बनाते, जबकि एक संक्षिप्त मॉडल लगभग हर पैरामीटर का उपयोग एक अलग और सार्थक तरीके से कर सकता है। प्रभावी आयाम उस अंतर को मापने का एक तरीका है।
मान लीजिए दो मॉडल हैं जिनके पैरामीटर θ1 और θ2 हैं। पहले मॉडल में, पैरामीटर आउटपुट को स्वतंत्र रूप से प्रभावित करते हैं, इसलिए मॉडल दो स्वतंत्र दिशाओं में बदल सकता है। दूसरे मॉडल में, आउटपुट केवल उनके योग पर निर्भर करता है, इसलिए कई पैरामीटर जोड़े बिल्कुल एक ही फ़ंक्शन उत्पन्न करते हैं। औपचारिक रूप से इस मॉडल के दो पैरामीटर हैं, लेकिन इसमें केवल एक स्वतंत्रता की मात्रा है। यह केंद्रीय विचार को स्पष्ट करता है: पैरामीटर संख्या को अनिवार्य रूप से कार्यात्मक जटिलता का प्रतिनिधि नहीं माना जा सकता।
प्रभावी आयाम सूचना जटिलता का एक पैमाना-निर्भर माप है, जिसे मूल रूप से सांख्यिकीय सूचना सिद्धांत में विकसित किया गया था ताकि उपलब्ध डेटा के आकार के आधार पर किसी मॉडल के वास्तव में सक्रिय पैरामीटर गिने जा सकें। तब से इसे शास्त्रीय और क्वांटम मशीन लर्निंग में अपनाया गया है ताकि मॉडल की अभिव्यक्ति क्षमता, प्रशिक्षणीयता और सामान्यीकरण की क्षमता का मूल्यांकन किया जा सके। सटीकता, हानि या कच्ची पैरामीटर संख्या के विपरीत, यह पूछता है कि चुने गए पैरामीटर क्षेत्र और डेटा वितरण में मॉडल की कितनी अलग-अलग पहचाने जाने योग्य पैरामीटर दिशाएं हैं।
महत्वपूर्ण बात यह है कि प्रभावी आयाम सामान्यीकरण से संबंधित है। इस ढांचे की मान्यताओं के अंतर्गत, यह सामान्यीकरण प्रदर्शन पर जटिलता-आधारित सीमा प्रदान कर सकता है। यह दो-भाग की श्रृंखला का पहला भाग है; दूसरा भाग दिखाएगा कि मशीन-लर्निंग प्रयोगों में प्रभावी आयाम की गणना कैसे लागू करें।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित