Der Name Random Forest deutet auf eine zweite Schicht der Zufälligkeit hin, die über einfaches Bagging hinausgeht. Während Bagging viele Bäume mittelt, um die Varianz zu reduzieren, fügt Breimans Design von 2001 Feature-Subsampling an jedem Split hinzu, wodurch jeder Baum auf eine zufällige Teilmenge von Features beschränkt wird. Diese zusätzliche Zufälligkeit zielt auf korrelierte Fehler zwischen den Bäumen ab, die das Mitteln allein nicht vollständig beseitigen kann. Der Artikel erklärt, dass die Korrelation zwischen den Vorhersagen der Bäume eine Obergrenze für die Bagging-Leistung schafft, und Feature-Subsampling durchbricht diese Barriere mathematisch. Durch die Verringerung der Baum-zu-Baum-Korrelation erreicht Random Forest eine geringere Gesamtvarianz und eine bessere Vorhersagekraft. Der Artikel revisiert die Bias-Varianz-Zerlegung, betont, dass Bagging die Varianz reduziert, aber nicht den Bias, und unterstreicht, warum die zufällige Feature-Auswahl von Random Forest für optimale Ensemble-Leistung unerlässlich ist.

Der mathematische Kern zeigt, wie korrelierte Fehler die Varianzreduktion des Bagging begrenzen, und das Experiment bestätigt, dass Feature-Subsampling die Korrelation tatsächlich verringert, was zu einer verbesserten Modellgenauigkeit führt. Diese Erkenntnis offenbart Random Forest als elegante Lösung für ein spezifisches Problem: korrelierte Fehler, die das Mitteln nicht vollständig adressieren kann.