La teoría detrás del apilamiento en aprendizaje automático sostiene que funciona mejor cuando los modelos base cometen distintos tipos de errores. Un metamodelo puede aprender a confiar en cada modelo allí donde es fiable, pero si todos los modelos base cometen los mismos errores, hay poca información complementaria que combinar. Por eso, el beneficio del apilamiento es una afirmación comprobable: debería crecer con la diferencia en la forma en que los modelos base se equivocan.
Para comprobarlo, el autor construyó dos condiciones sobre un conjunto de datos sintético de clasificación binaria de 2.000 muestras y 20 características. La primera usó modelos base diversos: regresión logística, un árbol de decisión, una SVM y k vecinos más cercanos, cada uno trazando fronteras de decisión de forma fundamentalmente distinta. La segunda usó modelos correlacionados: bosque aleatorio, gradient boosting y extra-trees, tres variantes de conjuntos de árboles. Los resultados provienen de una validación cruzada estratificada de 5 pliegues repetida 3 veces, en lugar de una única división entrenamiento/prueba.
En la condición diversa, el apilamiento alcanzó 0,830 frente a 0,820 del mejor modelo individual, una diferencia significativa que coincide con la teoría. En la condición correlacionada, la ventaja del apilamiento casi desapareció, con 0,835 frente a 0,834, una diferencia muy dentro de los márgenes de error. La votación, que simplemente promedia los modelos, quedó por debajo del mejor modelo individual en ambas condiciones, porque no puede reducir el peso de los modelos más débiles. El metamodelo del apilamiento puede aprender cuánto confiar en cada modelo base, por eso evitó este problema.
Fuente: Towards Data Science · Resumido por HeadlinesBriefing