機械学習におけるスタッキングの理論では、ベースモデルが異なる種類の誤りを犯すときに最もよく機能するとされています。メタモデルは、各モデルが信頼できる場面でそのモデルを信頼することを学習できますが、すべてのベースモデルが同じ誤りを犯す場合、組み合わせるべき補完的な情報はほとんどありません。したがって、スタッキングの利点は検証可能な主張であり、ベースモデルの誤り方の違いに応じて大きくなるはずです。
これを検証するため、著者は2,000サンプル、20特徴量の合成二値分類データセットで2つの条件を設定しました。1つ目は多様なベースモデルを使用し、ロジスティック回帰、決定木、SVM、k近傍法を用いました。これらはそれぞれ根本的に異なる方法で決定境界を描きます。2つ目は相関のあるモデルを使用し、ランダムフォレスト、勾配ブースティング、エクストラツリーという、ツリーアンサンブルの3つの変種を用いました。結果は、単一の訓練・テスト分割ではなく、3回繰り返した層化5分割交差検証によって得られました。
多様な条件では、スタッキングは最良の単一モデルの0.820に対して0.830に達し、理論に一致する意味のある差が見られました。相関のある条件では、スタッキングの優位性はほぼ消え、0.835対0.834となり、誤差範囲内の差にとどまりました。単にモデルの平均を取る投票法は、弱いモデルの重みを下げられないため、両条件で最良の単一モデルを下回りました。スタッキングのメタモデルは各ベースモデルをどの程度信頼すべきかを学習できるため、この問題を回避できたのです。
出典: Towards Data Science · 要約：HeadlinesBriefing