Der Rekurrente geschlossene Transformer (RLT) führt einen kausalen Encoder ein, der mit einem rekurrenten Decoder gekoppelt ist, der seinen endgültigen versteckten Zustand und seinen schichtweisen Sliding-Window-Attention-Cache über jedes Token hinweg beibehält. Diese Architektur vereint latentes Schließen mit unbegrenzter zeitlicher Tiefe und ermöglicht Co-Design von Modell-Hardware und Modell-RL-Algorithmus. Ein paralleler Encoder behandelt bekanntes Token-Batching, während der Decoder die kontinuierliche latente Berechnung erweitert, wenn Sequenzen wachsen.

Drei Kernprinzipien leiten das Design: Schließtiefe, die mit Sequenzlänge wächst, parallele Hardware-Arbeit um einen rekurrenten Kern, und ein einziger Übergang vom Sampling zum RL-Replay. Das System wiederverwendet Gewichte und Speicher mit Checkpointing, behält Referenzberechnung ohne Zustandsreset an Serving-Grenzen bei. Mathematische Formulierungen definieren den versteckten Zustand als H_t = (s_t, C_t^D), wobei der rekurrente Output und der Decoder-KV durch Merges vorwärts getragen werden.

Ein Sliding-Window-Attention-Mechanismus behält kürzliche Keys und Values bei, wobei Prompt und Response einen vollständigen Zustandsübergang teilen. Konfigurationen umfassen 48 Encoder- und 48 Decoder-Layer mit geteilten Attention- und FFN-Gewichten, wobei jedes Token 48t Decoder-Blöcke durchläuft. Das Design unterstützt unendliche Tiefe als erweiterbaren zeitlichen Pfad statt unendlicher Berechnung pro Token, obwohl realisierte Schließgewinne und Hardware-Effizienz noch untersucht werden.