HeadlinesBriefing favicon HeadlinesBriefing.com

TurboGPT : Entraînez un petit GPT en 1 min

Hacker News •
×

Inspiré de minGPT pour des expériences à la maison. Nécessite CUDA 13.4 ; le script de construction est uniquement pour Windows.

Entraînement d'un GPT au niveau octet en CUDA C++. MIT. Construire Linux/Nix OS : nix-build -o build/nix-result Windows, outils C++ Visual Studio 2022 et CUDA 13.4 : Cuda Arch est la capacité de calcul du GPU de la liste des GPU CUDA de NVIDIA. Exécuter. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

L'exécution stocke son point de contrôle dans runs/ctx4/ctx4.pt, contenant le modèle, l'optimiseur, le planificateur et l'état de l'entraîneur. Utilisez --load CHECKPOINT.pt pour le reprendre. runs/ctx4/report.json est dérivé du répertoire de journaux. Les journaux sont compatibles Tensor Board : un rapport par lot, plafonné à 8Mi rapports, et vidés avec des points de contrôle périodiques ou finaux. Résultat hn1g après 1.5G jetons d'entraînement : 2.5295 BPB.

Entités clés : Entreprises : GitHub, NVIDIA, Microsoft | Personnes : lostmsu