HeadlinesBriefing favicon HeadlinesBriefing.com

TurboGPT: Treine um GPT minúsculo em 1 min

Hacker News •
×

Inspirado no minGPT para experimentos caseiros. Requer CUDA 13.4; o script de compilação é apenas para Windows.

Treinamento de GPT em nível de byte em CUDA C++. MIT. Compilar Linux/Nix OS: nix-build -o build/nix-result Windows, ferramentas C++ do Visual Studio 2022 e CUDA 13.4: Cuda Arch é a capacidade de computação da GPU da lista de GPUs CUDA da NVIDIA. Executar. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

A execução armazena seu checkpoint em runs/ctx4/ctx4.pt, contendo modelo, otimizador, agendador e estado do treinador. Use --load CHECKPOINT.pt para retomá-lo. runs/ctx4/report.json é derivado do diretório de logs. Os logs são compatíveis com Tensor Board: um relatório por lote, limitado a 8Mi relatórios, e liberados com checkpoints periódicos ou finais. Resultado hn1g após 1.5G tokens de treinamento: 2.5295 BPB.

Entidades-chave: Empresas: GitHub, NVIDIA, Microsoft | Pessoas: lostmsu