GitHub ব্যবহারকারী volotat mini-AGI রিলিজ করেছেন, একটি অব continual লার্নিং বাইট-স্তরের ভাষা মডেল যা শুধু 8 GB VRAM-তে উপভোগী হার্ডওয়্যারে থেকে প্রশিক্ষণ দেওয়ার জন্য ডিজাইন করা गया है। এই প্রকল্প 1B+ প্যারামিটার স্কেলে মডেল প্রশিক্ষণের সীমাবদ্ধতা সমাধান করে, যা সাধারণত[enterprise-grade infrastructure] (此处需完整翻译，避免使用 brackets) উদ্যোগের প্রয়োজন। একটি Mixture of Experts (MoE)架构 ব্যবহার করে যা training期间 dynamically adds and prunes experts（此处意译，确保 bengali 表达自然）， এবং ব্যবহার করছে batch-1 training একে একটি continuous data stream-তে, মডেল available disk space-তে bound হয় VRAM capacity-তে না।

The system loads and unloads experts to GPU memory only when needed, eliminating the need to store large randomized batches and gradients. This allows the model to read continuous interleaved passages—each 32K characters long—mimicking human sequential learning. The current training run processes a 7.8B character corpus, expected to take several weeks to complete.

The author acknowledges extensive collaboration with Claude during development, stating the project would be impossible without AI assistance. While labeled a "toy-level model" not matching frontier capabilities, it demonstrates that continual learning without catastrophic forgetting is achievable on modest hardware. The repository is publicly available for cloning and observation, enabling anyone to train or continue training their own aligned models.