Вдохновлен minGPT для домашних экспериментов. Требуется CUDA 13.4; скрипт сборки только для Windows.

Обучение крошечного GPT на уровне байтов на CUDA C++. MIT. Сборка Linux/Nix OS: nix-build -o build/nix-result Windows, инструменты C++ Visual Studio 2022 и CUDA 13.4: Cuda Arch — это вычислительная способность GPU из списка GPU CUDA от NVIDIA. Запуск. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

Запуск сохраняет контрольную точку в runs/ctx4/ctx4.pt, содержащую модель, оптимизатор, планировщик и состояние тренера. Используйте --load CHECKPOINT.pt, чтобы возобновить его. runs/ctx4/report.json получен из каталога журналов. Журналы совместимы с Tensor Board: один отчет на пакет, максимум 8Mi отчетов, и сбрасываются с периодическими или финальными контрольными точками. Результат hn1g после 1.5G обучающих токенов: 2.5295 BPB.

Ключевые сущности: Компании: GitHub, NVIDIA, Microsoft | Люди: lostmsu