GitHub用户volotat已发布mini-AGI，一种旨在从头在消费级硬件上仅用8 GB VRAM训练的持续学习字节级语言模型。该项目解决了在1B+参数规模下训练模型通常需要企业级基础设施的限制。通过实现一种在训练过程中动态添加和剪枝专家的Mixture of Experts（MoE）架构，并利用单连续数据流的batch-1训练，该模型将参数数量上限绑定到可用磁盘空间而非VRAM容量。

该系统仅在需要时才将专家加载和卸载到GPU内存，从而消除了存储大型随机批次和梯度的需要。这使得模型能够读取连续的交错段落——每段32K个字符——模拟人类的顺序学习。当前的训练运行处理一个7.8B字符语料库，预计需要数周时间完成。

作者承认在开发过程中与Claude进行了广泛合作，并表示如果没有AI助手该项目将不可能完成。虽然被标记为“玩具级模型”，不匹配前沿能力，但它证明了在 modest hardware（ modest hardware 是中文语境下的意译，需确保准确）上实现持续学习而不出现灾难性遗忘是可行的。该仓库可公开克隆和观察，任何人都可以训练或继续训练自己的对齐模型。