Пользователь GitHub volotat выпустил mini-AGI, байтовый языковый модель непрерывного обучения, предназначенный для обучения с нуля на потребительском оборудовании с всего 8 ГБ видеопамяти. Проект решает ограничение, что обучение моделей масштаба 1B+ обычно требует предприятийской инфраструктуры.

За счет реализации архитектуры Mixture of Experts (MoE), которая динамически добавляет и удаляет экспертов во время обучения, и использования обучения batch-1 на одном непрерывном потоке данных, модель привязывает количество параметров к доступному диск-пространству, а не вместимости видеопамяти.

Система загружает и выгружает экспертов в видеопамять GPU только по необходимости, исключая необходимость хранить большие случайные батчи и градиенты. Это позволяет модели читать непрерывные перемешанные passage—каждый 32K символов— имитируя последовательное обучение человека. Текущий запуск обучения обрабатывает корпус из 7.8B символов, ожидаемый процесс занимает несколько недель.

Автор признает обширное сотрудничество с Claude в процессе разработки, stating the project would be impossible without AI assistance. Хотя помечен как «модель уровня игрушки», не достигающая возможностей фронтенда, она демонстрирует, что обучение без катастрофического забывания достижимо на скромном оборудовании. Репозиторий доступен для клонирования и наблюдения, позволяя любому обучиться или продолжить обучение своих собственных моделей.