HeadlinesBriefing favicon HeadlinesBriefing.com

TurboGPT: Winziges GPT in 1 Min. trainieren

Hacker News •
×

Inspiriert von minGPT für Heimexperimente. Erfordert CUDA 13.4; Build-Skript ist nur für Windows.

Winziges Byte-Level-GPT-Training in CUDA C++. MIT. Linux/Nix OS bauen: nix-build -o build/nix-result Windows, Visual Studio 2022 C++-Tools und CUDA 13.4: Cuda Arch ist die Rechenleistung der GPU aus NVIDIAs CUDA-GPU-Liste. Ausführen. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

Der Lauf speichert seinen Checkpoint in runs/ctx4/ctx4.pt, der Modell, Optimierer, Scheduler und Trainerzustand enthält. Verwenden Sie --load CHECKPOINT.pt, um ihn fortzusetzen. runs/ctx4/report.json wird aus dem Protokollverzeichnis abgeleitet. Protokolle sind Tensor Board-kompatibel: ein Bericht pro Stapel, begrenzt auf 8Mi Berichte, und mit periodischen oder endgültigen Checkpoints geleert. Ergebnis hn1g nach 1.5G Trainings-Tokens: 2.5295 BPB.

Wichtige Entitäten: Unternehmen: GitHub, NVIDIA, Microsoft | Personen: lostmsu