HeadlinesBriefing favicon HeadlinesBriefing.com

TurboGPT:一分钟训练微型GPT

Hacker News •
×

灵感来自minGPT,用于家庭实验。需要CUDA 13.4;构建脚本仅限Windows。

在CUDA C++中进行微型字节级GPT训练。MIT许可。构建Linux/Nix OS:nix-build -o build/nix-result Windows,Visual Studio 2022 C++工具和CUDA 13.4:Cuda Arch是来自NVIDIA的CUDA GPU列表的GPU计算能力。运行。\build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4。

运行将其检查点存储在runs/ctx4/ctx4.pt中,包含模型、优化器、调度器和训练器状态。使用--load CHECKPOINT.pt恢复它。runs/ctx4/report.json从日志目录派生。日志与Tensor Board兼容:每批一个报告,上限为8Mi报告,并定期或最终检查点刷新。结果hn1g在1.5G训练令牌后:2.5295 BPB。

关键实体:公司:GitHub、NVIDIA、Microsoft | 人员:lostmsu