随机森林的名称暗示了除简单装袋法之外的第二层随机性。虽然装袋法通过平均多棵树来降低方差，但 Breiman 在 2001 年的设计在每次分裂时增加了特征子采样，将每棵树限制在特征的随机子集上。这种额外的随机性针对树间的相关误差，而单纯平均无法完全消除这些误差。文章解释说，树预测之间的相关性给装袋法的性能设定了上限，而特征子采样在数学上突破了这一障碍。通过降低树与树之间的相关性，随机森林实现了更低的整体方差和更好的预测能力。文章重温了偏差-方差分解，强调装袋法降低方差但不降低偏差，并阐述了为什么随机森林的随机特征选择对于最优集成性能至关重要。

数学核心展示了相关误差如何限制装袋法的方差降低，实验验证了特征子采样确实降低了相关性，从而提高了模型准确性。这一洞察揭示了随机森林是解决特定问题的优雅方案：即平均无法完全解决的相关误差。