A teoria por trás do empilhamento em aprendizado de máquina sustenta que ele funciona melhor quando os modelos base cometem diferentes tipos de erro. Um meta-modelo pode aprender a confiar em cada modelo onde ele é confiável, mas, se todos os modelos base cometem os mesmos erros, há pouca informação complementar a combinar. Por isso, o benefício do empilhamento é uma afirmação testável: ele deve crescer conforme os modelos base erram de maneiras diferentes.
Para testar isso, o autor construiu duas condições em um conjunto de dados sintético de classificação binária com 2.000 amostras e 20 variáveis. A primeira usou modelos base diversos: regressão logística, uma árvore de decisão, um SVM e k-vizinhos mais próximos, cada um traçando fronteiras de decisão de forma fundamentalmente diferente. A segunda usou modelos correlacionados: floresta aleatória, gradient boosting e extra-trees, três variantes de conjuntos de árvores. Os resultados vieram de validação cruzada estratificada em 5 partes, repetida 3 vezes, em vez de uma única divisão treino/teste.
Na condição diversa, o empilhamento alcançou 0,830 contra 0,820 do melhor modelo isolado, uma diferença significativa que corresponde à teoria. Na condição correlacionada, a vantagem do empilhamento quase desapareceu, com 0,835 contra 0,834, uma diferença bem dentro das margens de erro. A votação, que apenas calcula a média dos modelos, teve desempenho inferior ao melhor modelo isolado nas duas condições, pois não consegue reduzir o peso dos modelos mais fracos. O meta-modelo do empilhamento pode aprender o quanto confiar em cada modelo base, e por isso evitou esse problema.
Fonte: Towards Data Science · Resumido por HeadlinesBriefing