Линейная регрессия популярна благодаря своей простоте, скорости и интерпретируемости, однако реальные зависимости часто изгибаются, выравниваются или меняются от региона к региону. Тормозной путь, отклик урожая, мощность ветroturbin и спутниковый доплеровский эффект демонстрируют кривизну, которую прямая линия не способна уловить.
В предыдущей статье этой серии метод наименьших квадратов (OLS) сравнивался с регрессией Хубера, RANSAC, GNC-GM, GNC-TLS и ASOR, чтобы показать, как прямолинейная аппроксимация реагирует, когда загрязнённые наблюдения уводят её от номинальной зависимости. Этот выпуск сохраняет ту же проблему устойчивости, но даёт модели больше гибкости.
Два вопроса определяют подход. Оценщик контролирует, каким наблюдениям доверять, а базис определяет, какие формы модель может представить. Полиномиальные признаки — естественный первый шаг, но их гибкость глобальна: изменение одного коэффициента перестраивает кривую повсюду. Сплайны вводят гибкость локально.
Статья иллюстрирует вопрос доверия на нелинейном примере. На чистых данных OLS точно следует基础ной зависимости. Когда 30% откликов загрязнены, подгонка OLS сильно уходит от истинной кривой, тогда как устойчивая подгонка остаётся заметно ближе к ней. Затем полиномиальная регрессия представляется как линейная модель в преобразованном пространстве признаков, коэффициенты которой оцениваются методом наименьших квадратов по матрице плана.
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing