Die lineare Regression ist wegen ihrer Einfachheit, Geschwindigkeit und Interpretierbarkeit beliebt, doch reale Zusammenhänge krümmen sich oft, flachen ab oder verändern sich von Region zu Region. Bremsweg, Ernteertrag, Leistung von Windkraftanlagen und der Doppler-Effekt bei Satelliten zeigen alle eine Krümmung, die eine Gerade nicht erfassen kann.
Der vorherige Artikel dieser Reihe verglich OLS mit Huber-Regression, RANSAC, GNC-GM, GNC-TLS und ASOR, um zu zeigen, wie ein Geradenfit reagiert, wenn verunreinigte Beobachtungen ihn vom nominalen Zusammenhang wegziehen. Diese Folge behält dasselbe Robustheitsproblem bei, gibt dem Modell jedoch mehr Flexibilität.
Zwei Fragen leiten den Ansatz. Der Schätzer steuert, welchen Beobachtungen man vertraut, während die Basis bestimmt, welche Formen das Modell abbilden kann. Polynomiale Merkmale sind ein natürlicher erster Schritt, doch ihre Flexibilität ist global: Die Änderung eines einzelnen Koeffizienten formt die Kurve überall neu. Splines führen Flexibilität lokal ein.
Der Artikel veranschaulicht die Vertrauensfrage an einem nichtlinearen Beispiel. Bei sauberen Daten folgt OLS dem zugrunde liegenden Zusammenhang eng. Werden 30 % der Antworten verunreinigt, wird der OLS-Fit weit von der wahren Kurve weggezogen, während ein robuster Fit deutlich näher bleibt. Die polynomiale Regression wird anschließend als lineares Modell in einem transformierten Merkmalsraum dargestellt, dessen Koeffizienten per Kleinste-Quadrate-Schätzung auf einer Entwurfsmatrix bestimmt werden.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing