ঘরোয়া পরীক্ষার জন্য minGPT থেকে অনুপ্রাণিত। CUDA 13.4 প্রয়োজন; বিল্ড স্ক্রিপ্ট শুধুমাত্র Windows-এর জন্য।

CUDA C++-এ ছোট বাইট-স্তরের GPT প্রশিক্ষণ। MIT। Linux/Nix OS তৈরি করুন: nix-build -o build/nix-result Windows, Visual Studio 2022 C++ টুল এবং CUDA 13.4: Cuda Arch হল NVIDIA-এর CUDA GPU তালিকা থেকে GPU কম্পিউট ক্ষমতা। চালান। \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4।

রান তার চেকপয়েন্ট runs/ctx4/ctx4.pt-এ সংরক্ষণ করে, যাতে মডেল, অপ্টিমাইজার, শিডিউলার এবং প্রশিক্ষকের অবস্থা থাকে। এটি পুনরায় শুরু করতে --load CHECKPOINT.pt ব্যবহার করুন। runs/ctx4/report.json লগ ডিরেক্টরি থেকে প্রাপ্ত। লগ Tensor Board-সামঞ্জস্যপূর্ণ: প্রতি ব্যাচে একটি রিপোর্ট, 8Mi রিপোর্টে সীমাবদ্ধ, এবং পর্যায়ক্রমিক বা চূড়ান্ত চেকপয়েন্টের সাথে ফ্লাশ করা হয়। 1.5G প্রশিক্ষণ টোকেনের পরে ফলাফল hn1g: 2.5295 BPB।

মূল সত্তা: কোম্পানি: GitHub, NVIDIA, Microsoft | ব্যক্তি: lostmsu