Skalierungsgesetze besagen, dass ein Sprachmodell mit mehr Parametern und Trainingsdaten leistungsfähiger wird. Mixture-of-Experts-Architekturen (MoE) haben diese Gesetze genutzt, um bemerkenswerte Ergebnisse zu erzielen, indem sie pro Token nur einen Bruchteil einer enormen gespeicherten Parameterbank aktivieren.

Dieser Erfolg basiert auf statischen Vortrainingsdaten. Ein eingesetztes Modell steht vor einer anderen Welt, in der viele der Daten, die es nützlicher machen würden, nicht in seinem Trainingssatz liegen, sondern in der Live-Interaktion, die es gerade verarbeitet, wie vom Nutzer gelieferte Fakten oder gegebene Korrekturen. Ein herkömmliches Modell kann aus diesen Daten nicht lernen, weil seine Gewichte nach dem Training eingefroren sind. Stattdessen werden zur Laufzeit bereitgestelltes Wissen und Verhalten in den Prompt gelegt und nach Ende der Anfrage verworfen.

Wir fragen, wie eine Architektur aus Live-Interaktion lernen könnte, indem sie sie in ihre Gewichte schreibt. Inspiriert von MoE schlagen wir das Infinite-Parameter-LLM vor. Ein kompaktes Hypernetz wandelt Laufzeitdaten in eine Niedrigrang-Modulation eines gemeinsamen Basisnetzes um, sodass Feed-Forward-Gewichte aus Live-Daten erzeugt werden, statt in einer festen Bank gespeichert zu werden. Während frühere Gewichtsgeneratoren den Kontext einmal lesen und einfrieren, tragen wir eine Bayes'sche Überzeugung über den latenten Code des Generators und aktualisieren sie online.

Der gespeicherte Fußabdruck bleibt fest, doch die Gewichte, die das Modell kompilieren kann, sind effektiv unendlich. Laufzeitwissen in Gewichten statt im Prompt zu tragen, amortisiert sich in Rechenleistung, befreit das Kontextfenster, bleibt über Turns hinweg erhalten und kann besser generalisieren. Wir spezifizieren ein Evaluierungsprotokoll, das dies gegen In-Context-Learning und Retrieval testet.

Schlüsselentitäten: Personen: Jinli Hu