家庭用実験のためのminGPTに触発されました。CUDA 13.4が必要です。ビルドスクリプトはWindows専用です。

CUDA C++での小さなバイトレベルのGPTトレーニング。MIT。Linux/Nix OSのビルド: nix-build -o build/nix-result Windows、Visual Studio 2022 C++ツール、CUDA 13.4: Cuda ArchはNVIDIAのCUDA GPUリストからのGPUコンピュート能力です。実行。\build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4。

実行はチェックポイントをruns/ctx4/ctx4.ptに保存し、モデル、オプティマイザー、スケジューラー、トレーナーの状態を含みます。再開するには--load CHECKPOINT.ptを使用します。runs/ctx4/report.jsonはログディレクトリから派生します。ログはTensor Board互換です: バッチごとに1つのレポート、8Miレポートに上限があり、定期的または最終チェックポイントでフラッシュされます。1.5Gトレーニングトークン後の結果hn1g: 2.5295 BPB。

主要エンティティ: 企業: GitHub、NVIDIA、Microsoft | 人物: lostmsu