HeadlinesBriefing favicon HeadlinesBriefing.com

TurboGPT: Entrena un GPT diminuto en 1 min

Hacker News •
×

Inspirado en minGPT para experimentos caseros. Requiere CUDA 13.4; el script de compilación es solo para Windows.

Entrenamiento de GPT a nivel de byte en CUDA C++. MIT. Compilar Linux/Nix OS: nix-build -o build/nix-result Windows, herramientas C++ de Visual Studio 2022 y CUDA 13.4: Cuda Arch es la capacidad de cómputo de la GPU de la lista de GPU CUDA de NVIDIA. Ejecutar. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

La ejecución almacena su punto de control en runs/ctx4/ctx4.pt, que contiene el modelo, optimizador, programador y estado del entrenador. Use --load CHECKPOINT.pt para reanudarlo. runs/ctx4/report.json se deriva del directorio de registros. Los registros son compatibles con Tensor Board: un informe por lote, limitado a 8Mi informes, y se vacían con puntos de control periódicos o finales. Resultado hn1g después de 1.5G tokens de entrenamiento: 2.5295 BPB.

Entidades clave: Empresas: GitHub, NVIDIA, Microsoft | Personas: lostmsu