再帰ループ型Transformer (RLT) は、因果エンコーダと、各トークンにおいて最終隠れ状態とレイヤーごとのスライディングウィンドウ注意キャッシュを保持する再帰デコーダを導入します。このアーキテクチャは、潜在推論と無制限の時間的深度を融合し、モデル・ハードウェアおよびモデル・RLアルゴリズムの共同設計を可能にします。並列エンコーダは既知トークンのバッチ処理を担当し、デコーダはシーケンスの成長に合わせて連続的な潜在計算を拡張します。3つの核心原則が設計を導きます: シーケンス長に応じて増大する推論深度、再帰コアを中心とした並列ハードウェア処理、サンプリングからRLリプレイへの単一の遷移。システムはチェックポインティングにより重みとメモリを再利用し、サービス境界での状態リセットなしで参照計算を維持します。数学的定式化では隠れ状態を H_t = (s_t, C_t^D) と定義し、再帰出力とデコーダKVがマージを通じて前方に伝播します。スライディングウィンドウ注意機構は直近のキーと値を保持し、プロンプトと応答が1つの完全な状態遷移を共有します。構成は48層のエンコーダと48層のデコーダを備え、注意とFFNの重みを共有し、各トークンが48tのデコーダブロックを通過します。この設計は、トークンごとの無限計算ではなく拡張可能な時間的パスとして無限の深度をサポートしますが、実現された推論ゲインとハードウェア効率は調査中です。