LayerFS是一个为需要并行工作的AI编程代理打造的文件系统。每个代理都会在共享的已提交历史之上挂载一个完整的可写工作区,完成工作后提交其更改,然后随即退出。其结果是:临时工作区与持久、共享的结果相结合,无需在幕后运行数据库服务器即可实现大规模并行。
该系统将每一次文件工具调用都视为对共享存储的一次原子操作。每次Bash调用都会挂载一个临时工作区,并在完成时提交,因此计算资源仅在命令运行期间存在。位于不同计算机上的代理可以共享同一个无服务器存储,从而实现分布式工作:一个项目支持多个分支,一个分支支持多个代理。对同一文件的冲突会被拒绝并标记,每一行代码都可以追溯到写入它的步骤。
分叉的设计成本很低。分叉只是元数据,不复制任何文件,因此探索工作可以递归地分支到任意深度。内容经过去重和压缩:在一个示例中,10份副本可压缩至约0.31份的存储空间。诸如node_modules之类的依赖项会随每次挂载一同携带,因此工作区约在0.05秒内即可就绪,而重新安装通常需要约五分钟。
LayerFS还支持自动检查点,使代理能够回退到任意先前步骤;支持永不被改写的仅追加对象;并提供冲突规则,使锁文件、构建输出和缓存以最新编辑为准。编辑的成本仅取决于更改的大小,而非整个文件的大小。
来源: Hacker News · 由HeadlinesBriefing整理摘要