著者: Tong Zheng, Xidong Wu, Zheng Zhang, Zhankui He, Chaoyi Zhang, Benjamin Coleman, Ruoqiao Wei, Di Bai, Haolin Liu, Rui Liu, Xue Wang, Yue Zhuan, Wang-Cheng Kang, Renkai Xiang, Heng Huang, Xinwu Cheng, Yunsong Guo

Dream-RSIは自律的AIエージェントにおけるスケーラブルな再帰的自己改善のフレームワークを導入する。このシステムは軽量なオーケストレーション層を通じて発見の履歴を明示的かつプログラマブルにすることで探索のボトルネックに対処する。主要な洞察は、蓄積された発見の履歴を実現された検索空間上のリプレイシミュレータとして利用することである。この歴史的リプレイシミュレータで dreaming を行うことで、Dream-RSIは高価なオンライン評価なしに探索ポリシーを評価および改良するための即時的で低コストなオフサンクポリシーフィードバックを確保する。改善されたポリシーは、さらなる発見を推進するためにオンラインに再デプロイされ、自己改善のループの中でシミュレータプールを継続的に拡大する。アルゴリズムエンジニアリング、数学的最適化、GPUカーネルエンジニアリングにおいて、Dream-RSIはいくつかの設定で発見品質を競争力があるか改善させる一方で、発見コストを大幅に削減する。この投稿はTong Zhengによるものであり、PDFおよび実験的HTML版として利用可能である。