線形回帰は、その単純さ、速さ、解釈のしやすさから広く使われていますが、現実の関係はしばしば曲がり、平坦になり、地域によって変化します。制動距離、作物の反応、風力タービンの出力、衛星のドップラー効果はいずれも、直線では捉えられない曲率を示します。
このシリーズの前回の記事では、OLSをHuber回帰、RANSAC、GNC-GM、GNC-TLS、ASORと比較し、汚染された観測値が名目上の関係から直線フィットを引き離したとき、直線フィットがどう反応するかを検証しました。今回の回では、同じ頑健性の問題を扱いつつ、モデルにより大きな柔軟性を与えます。
2つの問いがこのアプローチを導きます。推定量はどの観測値を信頼するかを制御し、基底はモデルがどの形状を表現できるかを制御します。多項式特徴量は自然な第一歩ですが、その柔軟性は大域的です。1つの係数を変えると、曲線はあらゆる場所で形が変わります。スプラインは局所的な柔軟性をもたらします。
本記事は、非線形の例を用いて信頼性の問題を示します。クリーンなデータでは、OLSは背後にある関係によく従います。応答の30%が汚染されると、OLSのフィットは真の曲線から大きく引き離されますが、頑健なフィットは真の曲線にはるかに近いままです。その後、多項式回帰は、変換された特徴空間における線形モデルとして説明され、係数は計画行列に対する最小二乗法で推定されます。
出典: Towards Data Science · 要約：HeadlinesBriefing