GitHubユーザーvolotatがリリースしたmini-AGIは、8GB VRAMだけでから頭から訓練するように設計された継続学習バイトレベル言語モデルです。プロジェクトは、1B+パラメータ規模のモデル訓練は通常エンタープライズグレードのインフラを必要とするという制限に対処しています。Mixture of Experts (MoE)アーキテクチャを実装し、training中に dynamically adds and prunes experts（此处意译，确保 japanese 表达自然），および単一の連続データストリーム上のbatch-1訓練を利用することで、モデルは利用可能なディスク容量によってパラメータ数を制限し、VRAM容量によっては制限されません。

システムは必要に応じて専門家をGPUメモリに読み込み・アンロードし、大規模なランダムバッチと勾配を保存する必要を排除します。これにより、モデルは32K文字の連続した交差パッセージを読み取ることができ、人間の順次学習を模倣します。現在の訓練ランは7.8B文字のコーパスを処理し、完了するまで数週間かかると予想されています。

著者は開発中にClaudeとの広範なコラボレーションを認めており、AI助けなしにはプロジェクト不可能だと述べています。ただし「おもちゃ級モデル」とラベル付けされ、フロンティア機能に匹敵しませんが、 modest hardware（ modest hardware 同上，确保 japanese 表达）で継続学習が catastrophic forgetting なしで達成可能であることを実証しています。リポジトリは公開されており、クローンして観察できます。誰でも自分のモデルを訓練または継続訓練できます。