Machine-Learning-Modelle werden üblicherweise über ihre Anzahl trainierbarer Parameter beschrieben, doch diese Zahl kann irreführend sein. Ein Modell kann viele Parameter enthalten, die keine echt unabhängigen Möglichkeiten schaffen, seine Ausgabe zu beeinflussen, während ein kompaktes Modell nahezu jeden Parameter auf eine eigenständige und sinnvolle Weise nutzen kann. Die effektive Dimension ist eine Möglichkeit, diesen Unterschied zu quantifizieren.
Betrachten wir zwei Modelle mit den Parametern θ1 und θ2. Beim ersten Modell beeinflussen die Parameter die Ausgabe unabhängig voneinander, sodass sich das Modell in zwei unabhängigen Richtungen verändern kann. Beim zweiten hängt die Ausgabe nur von ihrer Summe ab, sodass viele Parameterpaare exakt dieselbe Funktion erzeugen. Obwohl das Modell formal zwei Parameter hat, besitzt es nur einen Freiheitsgrad. Dies veranschaulicht die zentrale Idee: Die Parameteranzahl muss nicht die funktionale Komplexität widerspiegeln.
Die effektive Dimension ist ein skalenabhängiges Maß für informationstheoretische Komplexität, das ursprünglich in der statistischen Informationstheorie entwickelt wurde, um die tatsächlich aktiven Parameter eines Modells anhand der Größe der verfügbaren Daten zu zählen. Seitdem wird sie im klassischen und im Quanten-Machine-Learning verwendet, um die Ausdrucksstärke, Trainierbarkeit und Generalisierungsfähigkeit eines Modells zu bewerten. Anders als Genauigkeit, Verlustwert oder die reine Parameteranzahl fragt sie, wie viele unterscheidbare Parameterrichtungen ein Modell über einen gewählten Parameterbereich und eine gewählte Datenverteilung besitzt.
Wichtig ist, dass die effektive Dimension mit der Generalisierung zusammenhängt. Unter den Annahmen des Rahmens kann sie eine komplexitätsabhängige Schranke für die Generalisierungsleistung liefern. Dies ist der erste Teil einer zweiteiligen Serie; der zweite Teil zeigt, wie sich Berechnungen der effektiven Dimension in Machine-Learning-Experimenten umsetzen lassen.
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing