TL;DR Linum v2 wurde durch sein Attention-Kontextfenster ausgebremst: Ein 720p-Clip mit 5 Sekunden kostete 110K Token. Die meisten generativen Systeme sind Latent Diffusion Models (LDMs) mit separatem VAE und DiT. Pixel-Raum-Modelle wie JiT kombinieren sie, kämpfen aber mit feinen Details. Wir schlagen JiT-DDT vor, eine neuartige Encoder-Decoder-Architektur, die Details wiederherstellt und effizient trainiert. Gegenüber Linum v2 trainiert JiT-DDT ein Text-zu-Bild-Modell mit 3,6× weniger GPU-Stunden und erzeugt sogar Bilder mit 4× so vielen Pixeln. Linum v2 (256×256, 2,0B Latent-Raum-DiT + VAE, 256 latente Token) vs. JiT-DDT (512×512, 2,5B aktiver Pixel-Raum-DiT, 320 Pixel-Token = 64 Encoder + 256 Decoder). Code und Gewichte sind unter Apache 2.0 verfügbar. Dies ist ein Forschungsartefakt, keine vollständige Modellveröffentlichung. Bleiben Sie dran für Linum v3.

Fast alle generativen Bild- und Videomodelle sind LDMs, die einen VAE zur Komprimierung und einen DiT zur Generierung verwenden. VAEs werden separat trainiert und eingefroren, was die Token-Reduktion bei Modellen wie FLUX, Ideogram und Z-Image auf 16×16 begrenzt. Im letzten Herbst veröffentlichten Tianhong Li und Kaiming He JiT und erreichten eine 32×32-Token-Reduktion durch Verzicht auf den VAE.

Wichtige Entitäten: Unternehmen: Linum, FLUX, Ideogram, Z-Image | Personen: Tianhong Li, Kaiming He