تنص النظرية وراء التكديس في تعلم الآلة على أنه يعمل بأفضل صورة عندما ترتكب النماذج الأساسية أنواعاً مختلفة من الأخطاء. يستطيع النموذج الفوقي أن يتعلم الوثوق بكل نموذج حيث يكون موثوقاً، لكن إذا ارتكبت جميع النماذج الأساسية الأخطاء نفسها، فإن المعلومات التكميلية القابلة للدمج تكون قليلة. ولهذا فإن فائدة التكديس ادعاء قابل للاختبار: يجب أن تتناسب مع مدى اختلاف طريقة خطأ النماذج الأساسية.
ولاختبار ذلك، أنشأ المؤلف حالتين على مجموعة بيانات تصنيف ثنائي اصطناعية تضم 2000 عينة و20 ميزة. استخدمت الحالة الأولى نماذج أساسية متنوعة: الانحدار اللوجستي وشجرة القرار وآلة المتجهات الداعمة وأقرب k جيران، وكل منها يرسم حدود القرار بطريقة مختلفة جوهرياً. أما الحالة الثانية فاستخدمت نماذج مترابطة: الغابة العشوائية والتعزيز المتدرج والأشجار الإضافية، وهي ثلاثة أشكال من مجموعات الأشجار. وجاءت النتائج من التحقق المتقاطع الطبقي بخمس طيات مكررة 3 مرات، بدلاً من تقسيم تدريب/اختبار واحد.
في الحالة المتنوعة، بلغ التكديس 0.830 مقابل 0.820 لأفضل نموذج منفرد، وهي فجوة ذات دلالة تتوافق مع النظرية. أما في الحالة المترابطة فقد تلاشت ميزة التكديس تقريباً، إذ بلغ 0.835 مقابل 0.834، وهو فرق يقع ضمن هامش الخطأ. وأداء التصويت، الذي يكتفي بمتوسط النماذج، كان دون أفضل نموذج منفرد في الحالتين، لأنه لا يستطيع تقليل وزن النماذج الأضعف. ويستطيع النموذج الفوقي للتكديس أن يتعلم مقدار الثقة في كل نموذج أساسي، ولهذا تجنب هذه المشكلة.
المصدر: Towards Data Science · لخّصه HeadlinesBriefing