Las leyes de escalado sostienen que un modelo de lenguaje se vuelve más capaz con más parámetros y datos de entrenamiento. Las arquitecturas de Mezcla de Expertos (MoE) han aprovechado estas leyes para obtener resultados notables, activando solo una fracción de un enorme banco de parámetros almacenados por token.

Ese éxito se basa en datos de preentrenamiento estáticos. Un modelo desplegado enfrenta un mundo diferente, donde gran parte de los datos que lo harían más útil no están en su conjunto de entrenamiento, sino en la interacción en vivo que está manejando actualmente, como hechos que un usuario proporciona o correcciones que da. Un modelo convencional no puede aprender de estos datos, porque sus pesos están congelados después del entrenamiento. En cambio, el conocimiento y el comportamiento proporcionados en tiempo de ejecución se colocan en el prompt y se descartan una vez que termina la solicitud.

Nos preguntamos cómo una arquitectura podría aprender de la interacción en vivo escribiéndola en sus pesos. Inspirándonos en MoE, proponemos el LLM de Parámetros Infinitos. Una hiperred compacta convierte los datos en tiempo de ejecución en una modulación de bajo rango de una red base compartida, de modo que los pesos de avance se generan a partir de datos en vivo en lugar de almacenarse en un banco fijo. Mientras que los generadores de pesos anteriores leen el contexto una vez y se congelan, nosotros mantenemos una creencia bayesiana sobre el código latente del generador y la actualizamos en línea.

La huella almacenada permanece fija, pero los pesos que el modelo puede compilar son efectivamente infinitos. Llevar el conocimiento en tiempo de ejecución en los pesos en lugar del prompt se amortiza en cómputo, libera la ventana de contexto, persiste entre turnos y puede generalizar mejor. Especificamos un protocolo de evaluación que prueba esto contra el aprendizaje en contexto y la recuperación.

Entidades clave: Personas: Jinli Hu