मशीन लर्निंग में स्टैकिंग के पीछे का सिद्धांत यह मानता है कि यह तब सबसे अच्छा काम करती है जब बेस मॉडल अलग-अलग प्रकार की गलतियाँ करते हैं। एक मेटा-मॉडल सीख सकता है कि प्रत्येक मॉडल पर कहाँ भरोसा करना है, लेकिन यदि सभी बेस मॉडल एक ही गलतियाँ करते हैं, तो संयोजित करने के लिए पूरक जानकारी बहुत कम होती है। इसलिए स्टैकिंग का लाभ एक परखने योग्य दावा है: यह इस पर निर्भर होना चाहिए कि बेस मॉडल कितने अलग तरीके से गलती करते हैं।
इसकी जाँच के लिए लेखक ने 2,000 नमूनों और 20 विशेषताओं वाले एक सिंथेटिक बाइनरी वर्गीकरण डेटासेट पर दो स्थितियाँ बनाईं। पहली में विविध बेस मॉडल इस्तेमाल हुए: लॉजिस्टिक रिग्रेशन, एक डिसीजन ट्री, एक SVM और k-निकटतम पड़ोसी, जिनमें से हर एक निर्णय सीमाएँ मूल रूप से अलग तरीके से खींचता है। दूसरी में सहसंबद्ध मॉडल इस्तेमाल हुए: रैंडम फ़ॉरेस्ट, ग्रेडिएंट बूस्टिंग और एक्स्ट्रा-ट्रीज़, यानी ट्री एन्सेंबल के तीन रूप। परिणाम एक ही ट्रेन/टेस्ट विभाजन के बजाय 3 दोहराव के साथ बार-बार की गई स्तरीकृत 5-फ़ोल्ड क्रॉस-वैलिडेशन से आए।
विविध स्थिति में, स्टैकिंग ने सर्वश्रेष्ठ एकल मॉडल के 0.820 के मुकाबले 0.830 हासिल किया, जो सिद्धांत से मेल खाने वाला एक सार्थक अंतर है। सहसंबद्ध स्थिति में, स्टैकिंग की बढ़त लगभग खत्म हो गई, 0.835 बनाम 0.834, जो त्रुटि सीमा के भीतर का अंतर है। वोटिंग, जो केवल मॉडलों का औसत लेती है, दोनों स्थितियों में सर्वश्रेष्ठ एकल मॉडल से पीछे रही, क्योंकि वह कमज़ोर मॉडलों का वज़न घटा नहीं सकती। स्टैकिंग का मेटा-मॉडल सीख सकता है कि प्रत्येक बेस मॉडल पर कितना भरोसा करना है, इसीलिए वह इस समस्या से बच गया।
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित