घरेलू प्रयोगों के लिए minGPT से प्रेरित। CUDA 13.4 की आवश्यकता है; बिल्ड स्क्रिप्ट केवल Windows के लिए है।

CUDA C++ में छोटा बाइट-स्तरीय GPT प्रशिक्षण। MIT। Linux/Nix OS बनाएं: nix-build -o build/nix-result Windows, Visual Studio 2022 C++ टूल और CUDA 13.4: Cuda Arch NVIDIA की CUDA GPU सूची से GPU कंप्यूट क्षमता है। चलाएं। \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4।

रन अपना चेकपॉइंट runs/ctx4/ctx4.pt पर संग्रहीत करता है, जिसमें मॉडल, ऑप्टिमाइज़र, शेड्यूलर और ट्रेनर स्थिति शामिल है। इसे फिर से शुरू करने के लिए --load CHECKPOINT.pt का उपयोग करें। runs/ctx4/report.json लॉग निर्देशिका से प्राप्त होता है। लॉग Tensor Board-संगत हैं: प्रति बैच एक रिपोर्ट, 8Mi रिपोर्ट तक सीमित, और आवधिक या अंतिम चेकपॉइंट के साथ फ्लश किया जाता है। 1.5G प्रशिक्षण टोकन के बाद परिणाम hn1g: 2.5295 BPB।

मुख्य संस्थाएँ: कंपनियाँ: GitHub, NVIDIA, Microsoft | लोग: lostmsu