Wenn Sie jemals versucht haben, neuronale Netze zu mitteln, indem Sie dieselbe Architektur zweimal auf denselben Daten trainieren und nur den Zufallsseed ändern, haben Sie wahrscheinlich angenommen, dass die beiden Ergebnisse im Grunde austauschbar sind. Beide Läufe konvergieren. Beide erreichen denselben Verlust. Also mitteln Sie die beiden Gewichtsvektoren und erwarten etwas, das mindestens so gut ist wie einer allein. Der Durchschnitt ist schlechter. Oft viel schlechter. Es gab keine Probleme während des Trainingsprozesses; dies ist ein strukturelles Merkmal neuronaler Netze und kann direkt aus einer Eigenschaft abgeleitet werden, die als Permutationssymmetrie bekannt ist.

Dasselbe Prinzip erklärt auch, warum Modellfusion gelingt, wenn sie gelingt, und scheitert, wenn sie scheitert, eine Frage, die 2026 im Mittelpunkt der praktischen LLM-Entwicklung steht, ob man es mit Modell-Suppen oder föderiertem Mitteln zu tun hat. Stellen Sie sich zwei trainierte Netzwerke als zwei Tabellenkalkulationen vor, die denselben Bericht beschreiben, nur dass die Spalten in einer anderen Reihenfolge sind. "Spalte 3" von Modell A könnte enthalten, was Modell B "Spalte 7" nennt. Beide Tabellenkalkulationen sind korrekt. Aber sie Zelle für Zelle zu mitteln, ohne zuerst die Spalten auszurichten, bedeutet, Umsatz mit Mitarbeiterzahl zu mitteln.

Die meisten Einführungen in neuronale Netze bleiben im Funktionsraum. Dieser Artikel bleibt im Parameterraum: wie die Menge guter Lösungen tatsächlich aussieht und was diese Geometrie Sie kostet. Klassische Modelle wie polynomiale Regression haben feste Basisfunktionen und konvexen Verlust. Ein neuronales Netz lernt die Basisfunktionen selbst, was den Verlust nicht-konvex macht. Diese Nicht-Konvexität ist der Preis der Adaptivität. Fixieren Sie die Basis, und wir erhalten Konvexität. Lernen Sie die Basis, und wir verlieren sie. Es gibt keine dritte Option.