Does Stacking Beat Your Best Model?

The theory behind stacking in machine learning holds that it works best when base models make different kinds of errors. A meta-model can learn to trust each model where it is reliable, but if all base models make the same mistakes, there is little complementary information to combine. This makes stacking's benefit a testable claim: it should scale with how differently the base models err.

To test this, the author built two conditions on a synthetic binary classification dataset of 2,000 samples and 20 features. The first used diverse base models: logistic regression, a decision tree, an SVM, and k-nearest-neighbors, each drawing decision boundaries in a fundamentally different way. The second used correlated models: random forest, gradient boosting, and extra-trees, three variants of tree ensembles. Results came from repeated stratified 5-fold cross-validation with 3 repeats, rather than a single train/test split.

In the diverse condition, stacking reached 0.830 versus 0.820 for the best single model, a meaningful gap that matches the theory. In the correlated condition, stacking's edge nearly vanished, at 0.835 versus 0.834, a difference well within the error bars. Voting, which simply averages models, underperformed the best single model in both conditions, because it cannot down-weight weaker models. Stacking's meta-model can learn how much to trust each base model, which is why it avoided this problem.

تنص النظرية وراء التكديس في تعلم الآلة على أنه يعمل بأفضل صورة عندما ترتكب النماذج الأساسية أنواعاً مختلفة من الأخطاء. يستطيع النموذج الفوقي أن يتعلم الوثوق بكل نموذج حيث يكون موثوقاً، لكن إذا ارتكبت جميع النماذج الأساسية الأخطاء نفسها، فإن المعلومات التكميلية القابلة للدمج تكون قليلة. ولهذا فإن فائدة التكديس ادعاء قابل للاختبار: يجب أن تتناسب مع مدى اختلاف طريقة خطأ النماذج الأساسية.

ولاختبار ذلك، أنشأ المؤلف حالتين على مجموعة بيانات تصنيف ثنائي اصطناعية تضم 2000 عينة و20 ميزة. استخدمت الحالة الأولى نماذج أساسية متنوعة: الانحدار اللوجستي وشجرة القرار وآلة المتجهات الداعمة وأقرب k جيران، وكل منها يرسم حدود القرار بطريقة مختلفة جوهرياً. أما الحالة الثانية فاستخدمت نماذج مترابطة: الغابة العشوائية والتعزيز المتدرج والأشجار الإضافية، وهي ثلاثة أشكال من مجموعات الأشجار. وجاءت النتائج من التحقق المتقاطع الطبقي بخمس طيات مكررة 3 مرات، بدلاً من تقسيم تدريب/اختبار واحد.

في الحالة المتنوعة، بلغ التكديس 0.830 مقابل 0.820 لأفضل نموذج منفرد، وهي فجوة ذات دلالة تتوافق مع النظرية. أما في الحالة المترابطة فقد تلاشت ميزة التكديس تقريباً، إذ بلغ 0.835 مقابل 0.834، وهو فرق يقع ضمن هامش الخطأ. وأداء التصويت، الذي يكتفي بمتوسط النماذج، كان دون أفضل نموذج منفرد في الحالتين، لأنه لا يستطيع تقليل وزن النماذج الأضعف. ويستطيع النموذج الفوقي للتكديس أن يتعلم مقدار الثقة في كل نموذج أساسي، ولهذا تجنب هذه المشكلة.

মেশিন লার্নিংয়ে স্ট্যাকিংয়ের পেছনের তত্ত্ব বলে, বেস মডেলগুলো যখন ভিন্ন ধরনের ভুল করে তখন এটি সবচেয়ে ভালো কাজ করে। একটি মেটা-মডেল শিখতে পারে কোথায় কোন মডেলকে বিশ্বাস করা যায়, কিন্তু সব বেস মডেল যদি একই ভুল করে, তবে একত্র করার মতো পরিপূরক তথ্য খুব কম থাকে। তাই স্ট্যাকিংয়ের সুবিধা একটি পরীক্ষাযোগ্য দাবি: বেস মডেলগুলো কতটা ভিন্নভাবে ভুল করে তার সাথে এটি বাড়া উচিত।

এটি পরীক্ষা করতে লেখক 2,000টি নমুনা ও 20টি বৈশিষ্ট্যের একটি সিন্থেটিক বাইনারি শ্রেণিবিন্যাস ডেটাসেটে দুটি অবস্থা তৈরি করেছেন। প্রথমটিতে বৈচিত্র্যময় বেস মডেল ব্যবহার করা হয়েছে: লজিস্টিক রিগ্রেশন, একটি ডিসিশন ট্রি, একটি SVM এবং k-নিকটতম প্রতিবেশী, যার প্রতিটি মৌলিকভাবে ভিন্নভাবে সিদ্ধান্ত সীমানা আঁকে। দ্বিতীয়টিতে সম্পর্কযুক্ত মডেল ব্যবহার করা হয়েছে: র্যান্ডম ফরেস্ট, গ্রেডিয়েন্ট বুস্টিং এবং এক্সট্রা-ট্রিজ, অর্থাৎ ট্রি এনসেম্বলের তিনটি রূপ। ফলাফল একক ট্রেন/টেস্ট বিভাজনের পরিবর্তে ৩ বার পুনরাবৃত্ত স্তরিত ৫-ফোল্ড ক্রস-ভ্যালিডেশন থেকে এসেছে।

বৈচিত্র্যময় অবস্থায়, স্ট্যাকিং ০.৮৩০ পেয়েছে, যেখানে সেরা একক মডেল পেয়েছে ০.৮২০, যা তত্ত্বের সাথে মিলে যাওয়া একটি অর্থবহ ব্যবধান। সম্পর্কযুক্ত অবস্থায়, স্ট্যাকিংয়ের সুবিধা প্রায় মিলিয়ে গেছে, ০.৮৩৫ বনাম ০.৮৩৪, যা ত্রুটির সীমার মধ্যেই একটি পার্থক্য। ভোটিং, যা কেবল মডেলগুলোর গড় নেয়, দুই অবস্থাতেই সেরা একক মডেলের চেয়ে খারাপ করেছে, কারণ এটি দুর্বল মডেলগুলোর ওজন কমাতে পারে না। স্ট্যাকিংয়ের মেটা-মডেল শিখতে পারে প্রতিটি বেস মডেলের উপর কতটা আস্থা রাখা উচিত, তাই এটি এই সমস্যা এড়াতে পেরেছে।

Die Theorie hinter dem Stacking im maschinellen Lernen besagt, dass es am besten funktioniert, wenn die Basismodelle unterschiedliche Arten von Fehlern machen. Ein Metamodell kann lernen, jedem Modell dort zu vertrauen, wo es zuverlässig ist. Wenn alle Basismodelle jedoch dieselben Fehler machen, gibt es nur wenige komplementäre Informationen, die sich kombinieren lassen. Der Nutzen des Stackings ist daher eine überprüfbare Behauptung: Er sollte mit der Verschiedenheit der Fehler der Basismodelle wachsen.

Um dies zu testen, baute der Autor zwei Bedingungen auf einem synthetischen binären Klassifikationsdatensatz mit 2.000 Stichproben und 20 Merkmalen auf. Die erste verwendete verschiedenartige Basismodelle: logistische Regression, einen Entscheidungsbaum, eine SVM und k-nächste Nachbarn, die jeweils auf grundlegend unterschiedliche Weise Entscheidungsgrenzen ziehen. Die zweite verwendete korrelierte Modelle: Random Forest, Gradient Boosting und Extra-Trees, drei Varianten von Baum-Ensembles. Die Ergebnisse stammen aus einer wiederholten geschichteten 5-fachen Kreuzvalidierung mit 3 Wiederholungen statt aus einer einzelnen Aufteilung in Trainings- und Testdaten.

In der verschiedenartigen Bedingung erreichte Stacking 0,830 gegenüber 0,820 für das beste Einzelmodell, eine deutliche Differenz, die zur Theorie passt. In der korrelierten Bedingung schrumpfte der Vorsprung des Stackings fast auf null, mit 0,835 gegenüber 0,834, einer Differenz, die innerhalb der Fehlerbalken liegt. Voting, das die Modelle einfach mittelt, schnitt in beiden Bedingungen schlechter ab als das beste Einzelmodell, weil es schwächere Modelle nicht geringer gewichten kann. Das Metamodell des Stackings kann lernen, wie stark es jedem Basismodell vertrauen sollte, und umging dieses Problem deshalb.

La teoría detrás del apilamiento en aprendizaje automático sostiene que funciona mejor cuando los modelos base cometen distintos tipos de errores. Un metamodelo puede aprender a confiar en cada modelo allí donde es fiable, pero si todos los modelos base cometen los mismos errores, hay poca información complementaria que combinar. Por eso, el beneficio del apilamiento es una afirmación comprobable: debería crecer con la diferencia en la forma en que los modelos base se equivocan.

Para comprobarlo, el autor construyó dos condiciones sobre un conjunto de datos sintético de clasificación binaria de 2.000 muestras y 20 características. La primera usó modelos base diversos: regresión logística, un árbol de decisión, una SVM y k vecinos más cercanos, cada uno trazando fronteras de decisión de forma fundamentalmente distinta. La segunda usó modelos correlacionados: bosque aleatorio, gradient boosting y extra-trees, tres variantes de conjuntos de árboles. Los resultados provienen de una validación cruzada estratificada de 5 pliegues repetida 3 veces, en lugar de una única división entrenamiento/prueba.

En la condición diversa, el apilamiento alcanzó 0,830 frente a 0,820 del mejor modelo individual, una diferencia significativa que coincide con la teoría. En la condición correlacionada, la ventaja del apilamiento casi desapareció, con 0,835 frente a 0,834, una diferencia muy dentro de los márgenes de error. La votación, que simplemente promedia los modelos, quedó por debajo del mejor modelo individual en ambas condiciones, porque no puede reducir el peso de los modelos más débiles. El metamodelo del apilamiento puede aprender cuánto confiar en cada modelo base, por eso evitó este problema.

La théorie derrière l'empilement en apprentissage automatique veut qu'il fonctionne mieux lorsque les modèles de base commettent des erreurs de nature différente. Un méta-modèle peut apprendre à faire confiance à chaque modèle là où il est fiable, mais si tous les modèles de base font les mêmes erreurs, il y a peu d'informations complémentaires à combiner. Le bénéfice de l'empilement devient donc une affirmation testable : il devrait croître avec la différence de la manière dont les modèles de base se trompent.

Pour le vérifier, l'auteur a construit deux conditions sur un jeu de données synthétique de classification binaire comptant 2 000 échantillons et 20 variables. La première utilisait des modèles de base variés : une régression logistique, un arbre de décision, un SVM et les k plus proches voisins, chacun traçant ses frontières de décision de façon fondamentalement différente. La seconde utilisait des modèles corrélés : une forêt aléatoire, un gradient boosting et des extra-trees, trois variantes d'ensembles d'arbres. Les résultats proviennent d'une validation croisée stratifiée en 5 blocs, répétée 3 fois, plutôt que d'une simple séparation entraînement/test.

Dans la condition variée, l'empilement atteint 0,830 contre 0,820 pour le meilleur modèle seul, un écart significatif qui correspond à la théorie. Dans la condition corrélée, l'avantage de l'empilement a presque disparu, avec 0,835 contre 0,834, une différence bien comprise dans les marges d'erreur. Le vote, qui se contente de moyenner les modèles, a sous-performé le meilleur modèle seul dans les deux conditions, car il ne peut pas réduire le poids des modèles plus faibles. Le méta-modèle de l'empilement peut apprendre le degré de confiance accordé à chaque modèle de base, ce qui lui a permis d'éviter ce problème.

मशीन लर्निंग में स्टैकिंग के पीछे का सिद्धांत यह मानता है कि यह तब सबसे अच्छा काम करती है जब बेस मॉडल अलग-अलग प्रकार की गलतियाँ करते हैं। एक मेटा-मॉडल सीख सकता है कि प्रत्येक मॉडल पर कहाँ भरोसा करना है, लेकिन यदि सभी बेस मॉडल एक ही गलतियाँ करते हैं, तो संयोजित करने के लिए पूरक जानकारी बहुत कम होती है। इसलिए स्टैकिंग का लाभ एक परखने योग्य दावा है: यह इस पर निर्भर होना चाहिए कि बेस मॉडल कितने अलग तरीके से गलती करते हैं।

इसकी जाँच के लिए लेखक ने 2,000 नमूनों और 20 विशेषताओं वाले एक सिंथेटिक बाइनरी वर्गीकरण डेटासेट पर दो स्थितियाँ बनाईं। पहली में विविध बेस मॉडल इस्तेमाल हुए: लॉजिस्टिक रिग्रेशन, एक डिसीजन ट्री, एक SVM और k-निकटतम पड़ोसी, जिनमें से हर एक निर्णय सीमाएँ मूल रूप से अलग तरीके से खींचता है। दूसरी में सहसंबद्ध मॉडल इस्तेमाल हुए: रैंडम फ़ॉरेस्ट, ग्रेडिएंट बूस्टिंग और एक्स्ट्रा-ट्रीज़, यानी ट्री एन्सेंबल के तीन रूप। परिणाम एक ही ट्रेन/टेस्ट विभाजन के बजाय 3 दोहराव के साथ बार-बार की गई स्तरीकृत 5-फ़ोल्ड क्रॉस-वैलिडेशन से आए।

विविध स्थिति में, स्टैकिंग ने सर्वश्रेष्ठ एकल मॉडल के 0.820 के मुकाबले 0.830 हासिल किया, जो सिद्धांत से मेल खाने वाला एक सार्थक अंतर है। सहसंबद्ध स्थिति में, स्टैकिंग की बढ़त लगभग खत्म हो गई, 0.835 बनाम 0.834, जो त्रुटि सीमा के भीतर का अंतर है। वोटिंग, जो केवल मॉडलों का औसत लेती है, दोनों स्थितियों में सर्वश्रेष्ठ एकल मॉडल से पीछे रही, क्योंकि वह कमज़ोर मॉडलों का वज़न घटा नहीं सकती। स्टैकिंग का मेटा-मॉडल सीख सकता है कि प्रत्येक बेस मॉडल पर कितना भरोसा करना है, इसीलिए वह इस समस्या से बच गया।

Teori di balik stacking dalam machine learning menyatakan bahwa metode ini bekerja paling baik ketika model dasar membuat jenis kesalahan yang berbeda. Sebuah meta-model dapat belajar mempercayai setiap model di mana model tersebut andal, tetapi jika semua model dasar membuat kesalahan yang sama, sedikit sekali informasi pelengkap yang bisa digabungkan. Oleh karena itu, manfaat stacking merupakan klaim yang dapat diuji: manfaat tersebut seharusnya meningkat seiring dengan seberapa berbeda cara model dasar melakukan kesalahan.

Untuk menguji hal ini, penulis membangun dua kondisi pada dataset klasifikasi biner sintetis dengan 2.000 sampel dan 20 fitur. Kondisi pertama menggunakan model dasar yang beragam: regresi logistik, decision tree, SVM, dan k-nearest-neighbors, yang masing-masing menarik batas keputusan dengan cara yang sangat berbeda. Kondisi kedua menggunakan model yang berkorelasi: random forest, gradient boosting, dan extra-trees, tiga varian ensemble pohon. Hasilnya diperoleh dari validasi silang stratified 5-fold yang diulang 3 kali, bukan dari satu pembagian data latih/uji.

Pada kondisi yang beragam, stacking mencapai 0,830 dibandingkan 0,820 untuk model tunggal terbaik, selisih yang berarti dan sesuai dengan teori. Pada kondisi yang berkorelasi, keunggulan stacking hampir hilang, yaitu 0,835 berbanding 0,834, selisih yang berada jauh di dalam batas galat. Voting, yang hanya merata-ratakan model, berkinerja di bawah model tunggal terbaik pada kedua kondisi, karena tidak dapat menurunkan bobot model yang lebih lemah. Meta-model stacking dapat mempelajari seberapa besar kepercayaan yang harus diberikan pada setiap model dasar, sehingga ia terhindar dari masalah ini.

機械学習におけるスタッキングの理論では、ベースモデルが異なる種類の誤りを犯すときに最もよく機能するとされています。メタモデルは、各モデルが信頼できる場面でそのモデルを信頼することを学習できますが、すべてのベースモデルが同じ誤りを犯す場合、組み合わせるべき補完的な情報はほとんどありません。したがって、スタッキングの利点は検証可能な主張であり、ベースモデルの誤り方の違いに応じて大きくなるはずです。

これを検証するため、著者は2,000サンプル、20特徴量の合成二値分類データセットで2つの条件を設定しました。1つ目は多様なベースモデルを使用し、ロジスティック回帰、決定木、SVM、k近傍法を用いました。これらはそれぞれ根本的に異なる方法で決定境界を描きます。2つ目は相関のあるモデルを使用し、ランダムフォレスト、勾配ブースティング、エクストラツリーという、ツリーアンサンブルの3つの変種を用いました。結果は、単一の訓練・テスト分割ではなく、3回繰り返した層化5分割交差検証によって得られました。

多様な条件では、スタッキングは最良の単一モデルの0.820に対して0.830に達し、理論に一致する意味のある差が見られました。相関のある条件では、スタッキングの優位性はほぼ消え、0.835対0.834となり、誤差範囲内の差にとどまりました。単にモデルの平均を取る投票法は、弱いモデルの重みを下げられないため、両条件で最良の単一モデルを下回りました。スタッキングのメタモデルは各ベースモデルをどの程度信頼すべきかを学習できるため、この問題を回避できたのです。

A teoria por trás do empilhamento em aprendizado de máquina sustenta que ele funciona melhor quando os modelos base cometem diferentes tipos de erro. Um meta-modelo pode aprender a confiar em cada modelo onde ele é confiável, mas, se todos os modelos base cometem os mesmos erros, há pouca informação complementar a combinar. Por isso, o benefício do empilhamento é uma afirmação testável: ele deve crescer conforme os modelos base erram de maneiras diferentes.

Para testar isso, o autor construiu duas condições em um conjunto de dados sintético de classificação binária com 2.000 amostras e 20 variáveis. A primeira usou modelos base diversos: regressão logística, uma árvore de decisão, um SVM e k-vizinhos mais próximos, cada um traçando fronteiras de decisão de forma fundamentalmente diferente. A segunda usou modelos correlacionados: floresta aleatória, gradient boosting e extra-trees, três variantes de conjuntos de árvores. Os resultados vieram de validação cruzada estratificada em 5 partes, repetida 3 vezes, em vez de uma única divisão treino/teste.

Na condição diversa, o empilhamento alcançou 0,830 contra 0,820 do melhor modelo isolado, uma diferença significativa que corresponde à teoria. Na condição correlacionada, a vantagem do empilhamento quase desapareceu, com 0,835 contra 0,834, uma diferença bem dentro das margens de erro. A votação, que apenas calcula a média dos modelos, teve desempenho inferior ao melhor modelo isolado nas duas condições, pois não consegue reduzir o peso dos modelos mais fracos. O meta-modelo do empilhamento pode aprender o quanto confiar em cada modelo base, e por isso evitou esse problema.

Теория стекинга в машинном обучении утверждает, что он работает лучше всего, когда базовые модели допускают разные виды ошибок. Мета-модель может научиться доверять каждой модели там, где она надежна, но если все базовые модели ошибаются одинаково, то дополнительной информации для объединения остается мало. Поэтому выгода стекинга является проверяемым утверждением: она должна расти по мере того, как базовые модели ошибаются по-разному.

Чтобы проверить это, автор построил два сценария на синтетическом наборе данных для бинарной классификации из 2 000 примеров и 20 признаков. В первом использовались разнообразные базовые модели: логистическая регрессия, решающее дерево, SVM и k-ближайших соседей, каждая из которых проводит границы решений принципиально различным образом. Во втором использовались коррелирующие модели: случайный лес, градиентный бустинг и extra-trees, три варианта ансамблей деревьев. Результаты получены с помощью повторной стратифицированной 5-кратной кросс-валидации с 3 повторами, а не одного разбиения на обучающую и тестовую выборки.

В разнообразном сценарии стекинг достиг 0,830 против 0,820 у лучшей одиночной модели, и этот заметный разрыв соответствует теории. В коррелирующем сценарии преимущество стекинга почти исчезло: 0,835 против 0,834, что полностью укладывается в погрешность. Голосование, которое просто усредняет модели, уступило лучшей одиночной модели в обоих сценариях, поскольку не может снижать вес более слабых моделей. Мета-модель стекинга способна выучить, насколько доверять каждой базовой модели, поэтому она избежала этой проблемы.

机器学习中堆叠法的理论认为，当基模型犯下不同类型的错误时，它的效果最好。元模型可以学会在每个模型可靠的地方信任它，但如果所有基模型犯的是相同的错误，那么可供组合的互补信息就很少。因此，堆叠法的收益是一个可以检验的论断：它应当随基模型出错方式的差异程度而变化。

为了检验这一点，作者在一个包含2,000个样本和20个特征的合成二分类数据集上构建了两种条件。第一种使用多样化的基模型：逻辑回归、决策树、支持向量机和k近邻，它们各自以根本不同的方式划定决策边界。第二种使用相关性较强的模型：随机森林、梯度提升和极端随机树，即树集成的三种变体。结果来自重复分层5折交叉验证（重复3次），而非单一的训练/测试划分。

在多样化条件下，堆叠法达到0.830，而最佳单一模型为0.820，这一有意义的差距与理论相符。在相关性条件下，堆叠法的优势几乎消失，为0.835对0.834，这一差异完全在误差范围之内。投票法只是对模型取平均，在两种条件下的表现都不如最佳单一模型，因为它无法降低较弱模型的权重。堆叠法的元模型可以学习应当对每个基模型给予多大的信任，因此避免了这一问题。