ランダムフォレストという名前は、単純なバギングを超えた第二のランダム性の層を示唆しています。バギングが多数の木を平均化して分散を減らすのに対し、Breiman の 2001 年の設計では各分岐で特徴部分配を追加し、各木を特徴のランダムな部分集合に制限しています。この追加のランダム性は、木同士の相関のある誤差を標的としますが、平均化だけではこれを完全に排除できません。記事では、木の予測間の相関がバギングの性能に上限を作り、特徴部分配が数学的にこの壁を打ち破ることを説明しています。木間の相関を減らすことで、ランダムフォレストは全体の分散を低減し、より優れた予測力を達成します。記事はバイアス・分散分解を再検討し、バギングが分散を減らしてもバイアスは減らせないことを強調し、最適なアンサンブル性能のためにランダムフォレストのランダムな特徴選択が不可欠である理由を明らかにしています。

数学的核心は、相関のある誤差がいかにバギングの分散減少を制限するかを示し、実験は特徴部分配が実際に相関を低下させ、モデル精度を向上させることを検証しています。この洞察は、平均化だけでは完全に対処できない相関誤差という特定の問題に対するエレガントな解としてランダムフォレストを位置づけています。