Google telah membuka sumber TorchTPU, sebuah backend PyTorch yang memungkinkan pengguna menjalankan model dan operasi PyTorch di Tensor Processing Units (TPU) milik Google. Proyek ini mencakup kernel ATen kustom untuk berbagai operasi PyTorch, cache kompilasi untuk mengoptimalkan eksekusi komputasi XLA, serta contoh pelatihan terdistribusi dan inferensi model.
Fitur utama meliputi dukungan pelatihan terdistribusi melalui Data Parallelism dan Tensor Parallelism, integrasi dengan torch.compile() untuk eksekusi mode graf, serta utilitas untuk debugging dan benchmarking. Model contoh mencakup Llama, Qwen, ResNet, DLRM, minGPT, dan UNet.
Panduan pengguna dan notebook Marimo interaktif tersedia, yang mirip dengan Jupyter. Notebook harus dijalankan dari TPU VM, dengan instans v6e GCE direkomendasikan sebagai opsi termudah. Python 3.11 dan versi yang lebih baru saat ini didukung, sesuai dengan matriks kompatibilitas rilis PyTorch.
Rilis publik terbaru, versi 0.2.0, dapat diinstal dari PyPI menggunakan pip, dengan memanfaatkan build CPU PyTorch dari indeks tambahan. Pengembang juga dapat membangun wheel dari sumber menggunakan Bazel, dengan build yang dioptimalkan diaktifkan secara default dan opsi untuk menonaktifkan Remote Build Execution bagi mereka yang tidak memiliki kredensial.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing