Show HN: TurboGPT: train 22KiB transformer in 13s

Inspired by minGPT for home experiments. Requires CUDA 13.4; build script is Windows only.

Tiny byte-level GPT training in CUDA C++. MIT. Build Linux/Nix OS: nix-build -o build/nix-result Windows, Visual Studio 2022 C++ tools, and CUDA 13.4: Cuda Arch is the GPU compute capability from NVIDIA's CUDA GPU list. Run. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

The run stores its checkpoint at runs/ctx4/ctx4.pt, containing model, optimizer, scheduler, and trainer state. Use --load CHECKPOINT.pt to resume it. runs/ctx4/report.json is derived from the log directory. Logs are Tensor Board-compatible: one report per batch, capped at 8Mi reports, and flushed with periodic or final checkpoints. Result hn1g after 1.5G training tokens: 2.5295 BPB.

مستوحى من minGPT للتجارب المنزلية. يتطلب CUDA 13.4؛ script البناء مخصص لنظام Windows فقط.

تدريب GPT على مستوى البايت في CUDA C++. MIT. بناء Linux/Nix OS: nix-build -o build/nix-result Windows، أدوات Visual Studio 2022 C++ وCUDA 13.4: Cuda Arch هي قدرة الحوسبة لوحدة معالجة الرسومات من قائمة NVIDIA CUDA GPU. تشغيل. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

يخزن التشغيل نقطة التحقق الخاصة به في runs/ctx4/ctx4.pt، والتي تحتوي على النموذج والمحسّن والجدولة وحالة المدرب. استخدم --load CHECKPOINT.pt لاستئنافه. يتم اشتقاق runs/ctx4/report.json من دليل السجلات. السجلات متوافقة مع Tensor Board: تقرير واحد لكل دفعة، بحد أقصى 8Mi تقرير، ويتم تحديثها مع نقاط تحقق دورية أو نهائية. النتيجة hn1g بعد 1.5G رمز تدريبي: 2.5295 BPB.

الكيانات الرئيسية: الشركات: GitHub، NVIDIA، Microsoft | الأشخاص: lostmsu

ঘরোয়া পরীক্ষার জন্য minGPT থেকে অনুপ্রাণিত। CUDA 13.4 প্রয়োজন; বিল্ড স্ক্রিপ্ট শুধুমাত্র Windows-এর জন্য।

CUDA C++-এ ছোট বাইট-স্তরের GPT প্রশিক্ষণ। MIT। Linux/Nix OS তৈরি করুন: nix-build -o build/nix-result Windows, Visual Studio 2022 C++ টুল এবং CUDA 13.4: Cuda Arch হল NVIDIA-এর CUDA GPU তালিকা থেকে GPU কম্পিউট ক্ষমতা। চালান। \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4।

রান তার চেকপয়েন্ট runs/ctx4/ctx4.pt-এ সংরক্ষণ করে, যাতে মডেল, অপ্টিমাইজার, শিডিউলার এবং প্রশিক্ষকের অবস্থা থাকে। এটি পুনরায় শুরু করতে --load CHECKPOINT.pt ব্যবহার করুন। runs/ctx4/report.json লগ ডিরেক্টরি থেকে প্রাপ্ত। লগ Tensor Board-সামঞ্জস্যপূর্ণ: প্রতি ব্যাচে একটি রিপোর্ট, 8Mi রিপোর্টে সীমাবদ্ধ, এবং পর্যায়ক্রমিক বা চূড়ান্ত চেকপয়েন্টের সাথে ফ্লাশ করা হয়। 1.5G প্রশিক্ষণ টোকেনের পরে ফলাফল hn1g: 2.5295 BPB।

মূল সত্তা: কোম্পানি: GitHub, NVIDIA, Microsoft | ব্যক্তি: lostmsu

Inspiriert von minGPT für Heimexperimente. Erfordert CUDA 13.4; Build-Skript ist nur für Windows.

Winziges Byte-Level-GPT-Training in CUDA C++. MIT. Linux/Nix OS bauen: nix-build -o build/nix-result Windows, Visual Studio 2022 C++-Tools und CUDA 13.4: Cuda Arch ist die Rechenleistung der GPU aus NVIDIAs CUDA-GPU-Liste. Ausführen. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

Der Lauf speichert seinen Checkpoint in runs/ctx4/ctx4.pt, der Modell, Optimierer, Scheduler und Trainerzustand enthält. Verwenden Sie --load CHECKPOINT.pt, um ihn fortzusetzen. runs/ctx4/report.json wird aus dem Protokollverzeichnis abgeleitet. Protokolle sind Tensor Board-kompatibel: ein Bericht pro Stapel, begrenzt auf 8Mi Berichte, und mit periodischen oder endgültigen Checkpoints geleert. Ergebnis hn1g nach 1.5G Trainings-Tokens: 2.5295 BPB.

Wichtige Entitäten: Unternehmen: GitHub, NVIDIA, Microsoft | Personen: lostmsu

Inspirado en minGPT para experimentos caseros. Requiere CUDA 13.4; el script de compilación es solo para Windows.

Entrenamiento de GPT a nivel de byte en CUDA C++. MIT. Compilar Linux/Nix OS: nix-build -o build/nix-result Windows, herramientas C++ de Visual Studio 2022 y CUDA 13.4: Cuda Arch es la capacidad de cómputo de la GPU de la lista de GPU CUDA de NVIDIA. Ejecutar. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

La ejecución almacena su punto de control en runs/ctx4/ctx4.pt, que contiene el modelo, optimizador, programador y estado del entrenador. Use --load CHECKPOINT.pt para reanudarlo. runs/ctx4/report.json se deriva del directorio de registros. Los registros son compatibles con Tensor Board: un informe por lote, limitado a 8Mi informes, y se vacían con puntos de control periódicos o finales. Resultado hn1g después de 1.5G tokens de entrenamiento: 2.5295 BPB.

Entidades clave: Empresas: GitHub, NVIDIA, Microsoft | Personas: lostmsu

Inspiré de minGPT pour des expériences à la maison. Nécessite CUDA 13.4 ; le script de construction est uniquement pour Windows.

Entraînement d'un GPT au niveau octet en CUDA C++. MIT. Construire Linux/Nix OS : nix-build -o build/nix-result Windows, outils C++ Visual Studio 2022 et CUDA 13.4 : Cuda Arch est la capacité de calcul du GPU de la liste des GPU CUDA de NVIDIA. Exécuter. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

L'exécution stocke son point de contrôle dans runs/ctx4/ctx4.pt, contenant le modèle, l'optimiseur, le planificateur et l'état de l'entraîneur. Utilisez --load CHECKPOINT.pt pour le reprendre. runs/ctx4/report.json est dérivé du répertoire de journaux. Les journaux sont compatibles Tensor Board : un rapport par lot, plafonné à 8Mi rapports, et vidés avec des points de contrôle périodiques ou finaux. Résultat hn1g après 1.5G jetons d'entraînement : 2.5295 BPB.

Entités clés : Entreprises : GitHub, NVIDIA, Microsoft | Personnes : lostmsu

घरेलू प्रयोगों के लिए minGPT से प्रेरित। CUDA 13.4 की आवश्यकता है; बिल्ड स्क्रिप्ट केवल Windows के लिए है।

CUDA C++ में छोटा बाइट-स्तरीय GPT प्रशिक्षण। MIT। Linux/Nix OS बनाएं: nix-build -o build/nix-result Windows, Visual Studio 2022 C++ टूल और CUDA 13.4: Cuda Arch NVIDIA की CUDA GPU सूची से GPU कंप्यूट क्षमता है। चलाएं। \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4।

रन अपना चेकपॉइंट runs/ctx4/ctx4.pt पर संग्रहीत करता है, जिसमें मॉडल, ऑप्टिमाइज़र, शेड्यूलर और ट्रेनर स्थिति शामिल है। इसे फिर से शुरू करने के लिए --load CHECKPOINT.pt का उपयोग करें। runs/ctx4/report.json लॉग निर्देशिका से प्राप्त होता है। लॉग Tensor Board-संगत हैं: प्रति बैच एक रिपोर्ट, 8Mi रिपोर्ट तक सीमित, और आवधिक या अंतिम चेकपॉइंट के साथ फ्लश किया जाता है। 1.5G प्रशिक्षण टोकन के बाद परिणाम hn1g: 2.5295 BPB।

मुख्य संस्थाएँ: कंपनियाँ: GitHub, NVIDIA, Microsoft | लोग: lostmsu

Terinspirasi oleh minGPT untuk eksperimen rumahan. Memerlukan CUDA 13.4; skrip build hanya untuk Windows.

Pelatihan GPT tingkat byte kecil dalam CUDA C++. MIT. Bangun Linux/Nix OS: nix-build -o build/nix-result Windows, alat C++ Visual Studio 2022 dan CUDA 13.4: Cuda Arch adalah kemampuan komputasi GPU dari daftar GPU CUDA NVIDIA. Jalankan. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

Jalankan menyimpan checkpoint-nya di runs/ctx4/ctx4.pt, berisi model, optimizer, scheduler, dan status pelatih. Gunakan --load CHECKPOINT.pt untuk melanjutkannya. runs/ctx4/report.json berasal dari direktori log. Log kompatibel dengan Tensor Board: satu laporan per batch, dibatasi hingga 8Mi laporan, dan disiram dengan checkpoint berkala atau akhir. Hasil hn1g setelah 1.5G token pelatihan: 2.5295 BPB.

Entitas kunci: Perusahaan: GitHub, NVIDIA, Microsoft | Orang: lostmsu

家庭用実験のためのminGPTに触発されました。CUDA 13.4が必要です。ビルドスクリプトはWindows専用です。

CUDA C++での小さなバイトレベルのGPTトレーニング。MIT。Linux/Nix OSのビルド: nix-build -o build/nix-result Windows、Visual Studio 2022 C++ツール、CUDA 13.4: Cuda ArchはNVIDIAのCUDA GPUリストからのGPUコンピュート能力です。実行。\build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4。

実行はチェックポイントをruns/ctx4/ctx4.ptに保存し、モデル、オプティマイザー、スケジューラー、トレーナーの状態を含みます。再開するには--load CHECKPOINT.ptを使用します。runs/ctx4/report.jsonはログディレクトリから派生します。ログはTensor Board互換です: バッチごとに1つのレポート、8Miレポートに上限があり、定期的または最終チェックポイントでフラッシュされます。1.5Gトレーニングトークン後の結果hn1g: 2.5295 BPB。

主要エンティティ: 企業: GitHub、NVIDIA、Microsoft | 人物: lostmsu

Inspirado no minGPT para experimentos caseiros. Requer CUDA 13.4; o script de compilação é apenas para Windows.

Treinamento de GPT em nível de byte em CUDA C++. MIT. Compilar Linux/Nix OS: nix-build -o build/nix-result Windows, ferramentas C++ do Visual Studio 2022 e CUDA 13.4: Cuda Arch é a capacidade de computação da GPU da lista de GPUs CUDA da NVIDIA. Executar. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

A execução armazena seu checkpoint em runs/ctx4/ctx4.pt, contendo modelo, otimizador, agendador e estado do treinador. Use --load CHECKPOINT.pt para retomá-lo. runs/ctx4/report.json é derivado do diretório de logs. Os logs são compatíveis com Tensor Board: um relatório por lote, limitado a 8Mi relatórios, e liberados com checkpoints periódicos ou finais. Resultado hn1g após 1.5G tokens de treinamento: 2.5295 BPB.

Entidades-chave: Empresas: GitHub, NVIDIA, Microsoft | Pessoas: lostmsu

Вдохновлен minGPT для домашних экспериментов. Требуется CUDA 13.4; скрипт сборки только для Windows.

Обучение крошечного GPT на уровне байтов на CUDA C++. MIT. Сборка Linux/Nix OS: nix-build -o build/nix-result Windows, инструменты C++ Visual Studio 2022 и CUDA 13.4: Cuda Arch — это вычислительная способность GPU из списка GPU CUDA от NVIDIA. Запуск. \build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4.

Запуск сохраняет контрольную точку в runs/ctx4/ctx4.pt, содержащую модель, оптимизатор, планировщик и состояние тренера. Используйте --load CHECKPOINT.pt, чтобы возобновить его. runs/ctx4/report.json получен из каталога журналов. Журналы совместимы с Tensor Board: один отчет на пакет, максимум 8Mi отчетов, и сбрасываются с периодическими или финальными контрольными точками. Результат hn1g после 1.5G обучающих токенов: 2.5295 BPB.

Ключевые сущности: Компании: GitHub, NVIDIA, Microsoft | Люди: lostmsu

灵感来自minGPT，用于家庭实验。需要CUDA 13.4；构建脚本仅限Windows。

在CUDA C++中进行微型字节级GPT训练。MIT许可。构建Linux/Nix OS：nix-build -o build/nix-result Windows，Visual Studio 2022 C++工具和CUDA 13.4：Cuda Arch是来自NVIDIA的CUDA GPU列表的GPU计算能力。运行。\build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4。

运行将其检查点存储在runs/ctx4/ctx4.pt中，包含模型、优化器、调度器和训练器状态。使用--load CHECKPOINT.pt恢复它。runs/ctx4/report.json从日志目录派生。日志与Tensor Board兼容：每批一个报告，上限为8Mi报告，并定期或最终检查点刷新。结果hn1g在1.5G训练令牌后：2.5295 BPB。

关键实体：公司：GitHub、NVIDIA、Microsoft | 人员：lostmsu