रैंडम फॉरेस्ट का नाम साधारण बैगिंग से परे दूसरी परत की रैंडमनेस का संकेत देता है। जबकि बैगिंग कई ट्री को औसत करके वैरिएंस कम करता है, ब्रेइमन के 2001 के डिज़ाइन में प्रत्येक स्प्लिट पर फीचर सबसैंपलिंग जोड़ी गई है, जो प्रत्येक ट्री को फीचर्स के एक रैंडम सबसेट तक सीमित करती है। यह अतिरिक्त रैंडमनेस ट्री के बीच सहसंबद्ध त्रुटियों को लक्षित करती है, जिन्हें अकेले औसत द्वारा पूरी तरह से समाप्त नहीं किया जा सकता। लेख बताता है कि ट्री भविष्यवाणियों के बीच सहसंबंध बैगिंग के प्रदर्शन के लिए एक सीमा बनाता है, और फीचर सबसैंपलिंग गणितीय रूप से इस बाधा को तोड़ता है। ट्री-टू-ट्री सहसंबंध को कम करके, रैंडम फॉरेस्ट समग्र वैरिएंस को कम और बेहतर भविष्यवाणी शक्ति प्राप्त करता है। लेख बायस-वैरिएंस विघटन को पुनः देखता है, इस बात पर जोर देता है कि बैगिंग वैरिएंस कम करता है लेकिन बायस नहीं, और रेखांकित करता है कि इष्टतम एन्सेम्बल प्रदर्शन के लिए रैंडम फॉरेस्ट का रैंडम फीचर चयन क्यों आवश्यक है।

गणितीय कोर दर्शाता है कि सहसंबद्ध त्रुटियाँ बैगिंग के वैरिएंस कमी को कैसे सीमित करती हैं, और प्रयोग पुष्टि करता है कि फीचर सबसैंपलिंग वास्तव में सहसंबंध कम करती है, जिससे मॉडल सटीकता में सुधार होता है। यह अंतर्दृष्टि रैंडम फॉरेस्ट को एक विशिष्ट समस्या के सुंदर समाधान के रूप में प्रकट करती है: सहसंबद्ध त्रुटियाँ जिन्हें औसत पूरी तरह से संबोधित नहीं कर सकता।