Teori di balik stacking dalam machine learning menyatakan bahwa metode ini bekerja paling baik ketika model dasar membuat jenis kesalahan yang berbeda. Sebuah meta-model dapat belajar mempercayai setiap model di mana model tersebut andal, tetapi jika semua model dasar membuat kesalahan yang sama, sedikit sekali informasi pelengkap yang bisa digabungkan. Oleh karena itu, manfaat stacking merupakan klaim yang dapat diuji: manfaat tersebut seharusnya meningkat seiring dengan seberapa berbeda cara model dasar melakukan kesalahan.
Untuk menguji hal ini, penulis membangun dua kondisi pada dataset klasifikasi biner sintetis dengan 2.000 sampel dan 20 fitur. Kondisi pertama menggunakan model dasar yang beragam: regresi logistik, decision tree, SVM, dan k-nearest-neighbors, yang masing-masing menarik batas keputusan dengan cara yang sangat berbeda. Kondisi kedua menggunakan model yang berkorelasi: random forest, gradient boosting, dan extra-trees, tiga varian ensemble pohon. Hasilnya diperoleh dari validasi silang stratified 5-fold yang diulang 3 kali, bukan dari satu pembagian data latih/uji.
Pada kondisi yang beragam, stacking mencapai 0,830 dibandingkan 0,820 untuk model tunggal terbaik, selisih yang berarti dan sesuai dengan teori. Pada kondisi yang berkorelasi, keunggulan stacking hampir hilang, yaitu 0,835 berbanding 0,834, selisih yang berada jauh di dalam batas galat. Voting, yang hanya merata-ratakan model, berkinerja di bawah model tunggal terbaik pada kedua kondisi, karena tidak dapat menurunkan bobot model yang lebih lemah. Meta-model stacking dapat mempelajari seberapa besar kepercayaan yang harus diberikan pada setiap model dasar, sehingga ia terhindar dari masalah ini.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing