HeadlinesBriefing favicon HeadlinesBriefing.com

TurboGPT: درّب GPT صغيرًا في دقيقة

Hacker News •
×

مستوحى من minGPT للتجارب المنزلية. يتطلب CUDA 13.4؛ script البناء مخصص لنظام Windows فقط.

تدريب GPT على مستوى البايت في CUDA C++. MIT. بناء Linux/Nix OS: nix-build -o build/nix-result Windows، أدوات Visual Studio 2022 C++ وCUDA 13.4: Cuda Arch هي قدرة الحوسبة لوحدة معالجة الرسومات من قائمة NVIDIA CUDA GPU. تشغيل. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

يخزن التشغيل نقطة التحقق الخاصة به في runs/ctx4/ctx4.pt، والتي تحتوي على النموذج والمحسّن والجدولة وحالة المدرب. استخدم --load CHECKPOINT.pt لاستئنافه. يتم اشتقاق runs/ctx4/report.json من دليل السجلات. السجلات متوافقة مع Tensor Board: تقرير واحد لكل دفعة، بحد أقصى 8Mi تقرير، ويتم تحديثها مع نقاط تحقق دورية أو نهائية. النتيجة hn1g بعد 1.5G رمز تدريبي: 2.5295 BPB.

الكيانات الرئيسية: الشركات: GitHub، NVIDIA، Microsoft | الأشخاص: lostmsu