循环循环Transformer (RLT) 引入了一个因果编码器，并配备了一个循环解码器，该解码器在每个token上都保留其最终隐藏状态和逐层滑动窗口注意力缓存。这种架构将潜在推理与无界时间深度相结合，实现了模型-硬件和模型-RL算法的协同设计。并行编码器处理已知token的批处理，而解码器则随着序列增长扩展连续的潜在计算。三大核心原则指导设计：随序列长度增长的推理深度、围绕循环核心的并行硬件工作、以及从采样到RL重放的单一转换。系统通过检查点复用权重和内存，在服务边界无状态重置的情况下保持参考计算。数学公式将隐藏状态定义为 H_t = (s_t, C_t^D)，其中循环输出和解码器KV通过合并向前传递。滑动窗口注意力机制保留最近的键和值，提示词和响应共享一次完整的状态转换。配置包含48层编码器和48层解码器，共享注意力和FFN权重，每个token遍历48t个解码器块。该设计将无限深度作为可扩展的时间路径而非每个token的无限计算来支持，尽管实际推理增益和硬件效率仍在研究中。