Transformer Rekuren Berulang (RLT) memperkenalkan encoder kausal yang dipasangkan dengan decoder rekuren yang mempertahankan hidden state akhirnya dan cache attention sliding-window per layer di setiap token. Arsitektur ini menggabungkan penalaran laten dengan kedalaman temporal tanpa batas, memungkinkan co-design model-hardware dan model-algoritma RL. Encoder paralel menangani batching token yang diketahui sementara decoder memperluas komputasi laten berkelanjutan seiring pertumbuhan sequence.

Tiga prinsip inti memandu desain: kedalaman penalaran yang tumbuh dengan panjang sequence, pekerjaan hardware paralel di sekitar core rekuren, dan transisi tunggal dari sampling ke RL replay. Sistem menggunakan kembali weight dan memory dengan checkpointing, mempertahankan komputasi referensi tanpa reset state di batas serving. Formulasi matematika mendefinisikan hidden state sebagai H_t = (s_t, C_t^D), di mana output rekuren dan decoder KV dibawa ke depan melalui merge.

Mekanisme attention sliding-window mempertahankan key dan value terbaru, dengan prompt dan response berbagi satu transisi state lengkap. Konfigurasi menampilkan 48 layer encoder dan 48 layer decoder dengan shared attention dan FFN weight, di mana setiap token melewati 48t decoder block. Desain mendukung kedalaman tak hingga sebagai jalur temporal yang dapat diperluas bukan komputasi tak hingga per token, meskipun peningkatan penalaran yang terealisasi dan efisiensi hardware tetap dalam penyelidikan.