Le nom de forêt aléatoire suggère une seconde couche d'aléatoire au-delà du simple bagging. Alors que le bagging moyenne de nombreux arbres pour réduire la variance, la conception de Breiman en 2001 ajoute un sous-échantillonnage de variables à chaque partition, limitant chaque arbre à un sous-ensemble aléatoire de variables. Cet aléa supplémentaire cible les erreurs corrélées entre arbres, que la moyenne seule ne peut pas éliminer complètement. L'article explique que la corrélation entre les prédictions des arbres crée un plafond pour la performance du bagging, et que le sous-échantillonnage de variables franchit mathématiquement cette barrière. En réduisant la corrélation arbre-à-arbre, la forêt aléatoire obtient une variance globale plus faible et un meilleur pouvoir prédictif. L'article revisite la décomposition biais-variance, soulignant que le bagging réduit la variance mais pas le biais, et souligne pourquoi la sélection aléatoire de variables de la forêt aléatoire est essentielle pour une performance d'ensemble optimale.

Le cœur mathématique montre comment les erreurs corrélées limitent la réduction de variance du bagging, et l'expérience valide que le sous-échantillonnage de variables réduit bien la corrélation, conduisant à une meilleure précision du modèle. Cette révélation présente la forêt aléatoire comme une solution élégante à un problème spécifique : les erreurs corrélées que la moyenne ne peut pas entièrement résoudre.