HeadlinesBriefing favicon HeadlinesBriefing.com

TurboGPT: Latih GPT kecil dalam 1 menit

Hacker News •
×

Terinspirasi oleh minGPT untuk eksperimen rumahan. Memerlukan CUDA 13.4; skrip build hanya untuk Windows.

Pelatihan GPT tingkat byte kecil dalam CUDA C++. MIT. Bangun Linux/Nix OS: nix-build -o build/nix-result Windows, alat C++ Visual Studio 2022 dan CUDA 13.4: Cuda Arch adalah kemampuan komputasi GPU dari daftar GPU CUDA NVIDIA. Jalankan. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

Jalankan menyimpan checkpoint-nya di runs/ctx4/ctx4.pt, berisi model, optimizer, scheduler, dan status pelatih. Gunakan --load CHECKPOINT.pt untuk melanjutkannya. runs/ctx4/report.json berasal dari direktori log. Log kompatibel dengan Tensor Board: satu laporan per batch, dibatasi hingga 8Mi laporan, dan disiram dengan checkpoint berkala atau akhir. Hasil hn1g setelah 1.5G token pelatihan: 2.5295 BPB.

Entitas kunci: Perusahaan: GitHub, NVIDIA, Microsoft | Orang: lostmsu