Die Theorie hinter dem Stacking im maschinellen Lernen besagt, dass es am besten funktioniert, wenn die Basismodelle unterschiedliche Arten von Fehlern machen. Ein Metamodell kann lernen, jedem Modell dort zu vertrauen, wo es zuverlässig ist. Wenn alle Basismodelle jedoch dieselben Fehler machen, gibt es nur wenige komplementäre Informationen, die sich kombinieren lassen. Der Nutzen des Stackings ist daher eine überprüfbare Behauptung: Er sollte mit der Verschiedenheit der Fehler der Basismodelle wachsen.
Um dies zu testen, baute der Autor zwei Bedingungen auf einem synthetischen binären Klassifikationsdatensatz mit 2.000 Stichproben und 20 Merkmalen auf. Die erste verwendete verschiedenartige Basismodelle: logistische Regression, einen Entscheidungsbaum, eine SVM und k-nächste Nachbarn, die jeweils auf grundlegend unterschiedliche Weise Entscheidungsgrenzen ziehen. Die zweite verwendete korrelierte Modelle: Random Forest, Gradient Boosting und Extra-Trees, drei Varianten von Baum-Ensembles. Die Ergebnisse stammen aus einer wiederholten geschichteten 5-fachen Kreuzvalidierung mit 3 Wiederholungen statt aus einer einzelnen Aufteilung in Trainings- und Testdaten.
In der verschiedenartigen Bedingung erreichte Stacking 0,830 gegenüber 0,820 für das beste Einzelmodell, eine deutliche Differenz, die zur Theorie passt. In der korrelierten Bedingung schrumpfte der Vorsprung des Stackings fast auf null, mit 0,835 gegenüber 0,834, einer Differenz, die innerhalb der Fehlerbalken liegt. Voting, das die Modelle einfach mittelt, schnitt in beiden Bedingungen schlechter ab als das beste Einzelmodell, weil es schwächere Modelle nicht geringer gewichten kann. Das Metamodell des Stackings kann lernen, wie stark es jedem Basismodell vertrauen sollte, und umging dieses Problem deshalb.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing