别让杂乱数据扭曲你的曲线

线性回归因其简单、快速和可解释性而广受欢迎，但现实中的关系往往弯曲、变平，或随地区而变化。刹车距离、作物响应、风力发电机功率以及卫星多普勒效应，都呈现出直线无法捕捉的曲率。

本系列的上一篇文章比较了OLS与Huber回归、RANSAC、GNC-GM、GNC-TLS和ASOR，考察当受污染的观测值将拟合直线拉离标称关系时，直线拟合会如何反应。本篇延续同样的稳健性问题，但为模型提供了更大的灵活性。

两个问题驱动着这一方法。估计器决定信任哪些观测值，而基函数则决定模型能够表示哪些形状。多项式特征是自然的第一步，但其灵活性是全局性的，改变一个系数会在所有地方重塑曲线。样条则引入局部的灵活性。

本文通过一个非线性示例说明信任问题。在干净数据下，OLS紧密地跟随底层关系。当30%的响应值受到污染后，OLS拟合曲线被大幅拉离真实曲线，而稳健拟合则仍然与之接近得多。随后，多项式回归被表述为变换特征空间中的线性模型，其系数通过对设计矩阵进行最小二乘估计得到。