Heute dominieren zwei Familien von generativen KI-Algorithmen: Diffussionsmodelle für kontinuierliche Daten wie Bilder und Autoregressivmodelle für diskrete Daten wie Text. Diffussionsmodelle generieren die gesamte Sequenz auf einmal, beginnend mit einem groben Entwurf und verfeinern jede Position parallel in mehreren Durchgängen. Dies ermöglicht Kompromisse zwischen Geschwindigkeit und Qualität, eingebaute Fehlerkorrektur und bidirektionalen Kontext. Autoregressive Modelle generieren ein Token nach dem anderen von links nach rechts, benötigen so viele Schritte wie Tokens vorhanden sind. Diffussionssprachenmodelle hingegen beginnen mit einem vollständigen Entwurf und schreiben die gesamte Sequenz bei jedem Schritt neu. Die Anwendung von Diffusion auf Sprache war bis 2024 ein offenes Problem, aber bis 2026 sind Diffussionssprachenmodelle Realität, mit Veröffentlichungen führender Industrie-Labore wie Mercury 2 (Inception Labs), Gemma Diffusion (Google) und Nemotron Diffusion (NVIDIA). Das zentrale Konzept hinter Diffussionsmodellen ist Denoising: Bilder Schritt für Schritt zu erzeugen, indem man von reinem Rauschen beginnt und bei jedem Schritt etwas Rauschen entfernt, bis ein kohärentes Bild entsteht. Der Vorwärtsprozess nimmt ein sauberes Trainingsbild und erzeugt immer lautere Bilder. Der Rückwärtsprozess lernt, diese Transformation zu invertieren und Rauschen wieder in ein Bild umzuwandeln.

Diffusionsmodelle lernen das Denoising, indem sie Beispiele trainieren, bei denen Rauschen allmählich in Bilder umgewandelt wird. Der Vorwärtsprozess fügt Rauschen Schritt für Schritt einer sauberen Bild hinzu, während der Rückwärtsprozess lernt, diese Transformation umzukehren. Dieser zweistufige Ansatz macht Diffussionsmodelle sehr effektiv für die Generierung.

Moderne Diffussionssprachenmodelle basieren auf diesen Grundprinzipien, angepasst für diskrete Daten wie Text.

Schlüssel entitäten: Unternehmen: Inception Labs, Google, NVIDIA