Теория стекинга в машинном обучении утверждает, что он работает лучше всего, когда базовые модели допускают разные виды ошибок. Мета-модель может научиться доверять каждой модели там, где она надежна, но если все базовые модели ошибаются одинаково, то дополнительной информации для объединения остается мало. Поэтому выгода стекинга является проверяемым утверждением: она должна расти по мере того, как базовые модели ошибаются по-разному.
Чтобы проверить это, автор построил два сценария на синтетическом наборе данных для бинарной классификации из 2 000 примеров и 20 признаков. В первом использовались разнообразные базовые модели: логистическая регрессия, решающее дерево, SVM и k-ближайших соседей, каждая из которых проводит границы решений принципиально различным образом. Во втором использовались коррелирующие модели: случайный лес, градиентный бустинг и extra-trees, три варианта ансамблей деревьев. Результаты получены с помощью повторной стратифицированной 5-кратной кросс-валидации с 3 повторами, а не одного разбиения на обучающую и тестовую выборки.
В разнообразном сценарии стекинг достиг 0,830 против 0,820 у лучшей одиночной модели, и этот заметный разрыв соответствует теории. В коррелирующем сценарии преимущество стекинга почти исчезло: 0,835 против 0,834, что полностью укладывается в погрешность. Голосование, которое просто усредняет модели, уступило лучшей одиночной модели в обоих сценариях, поскольку не может снижать вес более слабых моделей. Мета-модель стекинга способна выучить, насколько доверять каждой базовой модели, поэтому она избежала этой проблемы.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing