La théorie derrière l'empilement en apprentissage automatique veut qu'il fonctionne mieux lorsque les modèles de base commettent des erreurs de nature différente. Un méta-modèle peut apprendre à faire confiance à chaque modèle là où il est fiable, mais si tous les modèles de base font les mêmes erreurs, il y a peu d'informations complémentaires à combiner. Le bénéfice de l'empilement devient donc une affirmation testable : il devrait croître avec la différence de la manière dont les modèles de base se trompent.
Pour le vérifier, l'auteur a construit deux conditions sur un jeu de données synthétique de classification binaire comptant 2 000 échantillons et 20 variables. La première utilisait des modèles de base variés : une régression logistique, un arbre de décision, un SVM et les k plus proches voisins, chacun traçant ses frontières de décision de façon fondamentalement différente. La seconde utilisait des modèles corrélés : une forêt aléatoire, un gradient boosting et des extra-trees, trois variantes d'ensembles d'arbres. Les résultats proviennent d'une validation croisée stratifiée en 5 blocs, répétée 3 fois, plutôt que d'une simple séparation entraînement/test.
Dans la condition variée, l'empilement atteint 0,830 contre 0,820 pour le meilleur modèle seul, un écart significatif qui correspond à la théorie. Dans la condition corrélée, l'avantage de l'empilement a presque disparu, avec 0,835 contre 0,834, une différence bien comprise dans les marges d'erreur. Le vote, qui se contente de moyenner les modèles, a sous-performé le meilleur modèle seul dans les deux conditions, car il ne peut pas réduire le poids des modèles plus faibles. Le méta-modèle de l'empilement peut apprendre le degré de confiance accordé à chaque modèle de base, ce qui lui a permis d'éviter ce problème.
Source: Towards Data Science · Résumé par HeadlinesBriefing