机器学习中堆叠法的理论认为，当基模型犯下不同类型的错误时，它的效果最好。元模型可以学会在每个模型可靠的地方信任它，但如果所有基模型犯的是相同的错误，那么可供组合的互补信息就很少。因此，堆叠法的收益是一个可以检验的论断：它应当随基模型出错方式的差异程度而变化。
为了检验这一点，作者在一个包含2,000个样本和20个特征的合成二分类数据集上构建了两种条件。第一种使用多样化的基模型：逻辑回归、决策树、支持向量机和k近邻，它们各自以根本不同的方式划定决策边界。第二种使用相关性较强的模型：随机森林、梯度提升和极端随机树，即树集成的三种变体。结果来自重复分层5折交叉验证（重复3次），而非单一的训练/测试划分。
在多样化条件下，堆叠法达到0.830，而最佳单一模型为0.820，这一有意义的差距与理论相符。在相关性条件下，堆叠法的优势几乎消失，为0.835对0.834，这一差异完全在误差范围之内。投票法只是对模型取平均，在两种条件下的表现都不如最佳单一模型，因为它无法降低较弱模型的权重。堆叠法的元模型可以学习应当对每个基模型给予多大的信任，因此避免了这一问题。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要