Google hat TorchTPU als Open Source veröffentlicht, ein PyTorch-Backend, mit dem Nutzer PyTorch-Modelle und -Operationen auf den Tensor Processing Units (TPUs) von Google ausführen können. Das Projekt umfasst benutzerdefinierte ATen-Kernel für eine Reihe von PyTorch-Operationen, einen Kompilierungscache zur Optimierung der Ausführung von XLA-Berechnungen sowie Beispiele für verteiltes Training und Modellinferenz.
Zu den wichtigsten Funktionen gehören die Unterstützung für verteiltes Training durch Data Parallelism und Tensor Parallelism, die Integration mit torch.compile() für die Ausführung im Graph-Modus sowie Werkzeuge für Debugging und Benchmarking. Die Beispielmodelle umfassen Llama, Qwen, ResNet, DLRM, minGPT und UNet.
Ein Benutzerhandbuch und interaktive Marimo-Notebooks stehen zur Verfügung, die Jupyter ähneln. Die Notebooks müssen von einer TPU-VM aus ausgeführt werden, wobei eine v6e-GCE-Instanz als einfachste Option empfohlen wird. Derzeit wird Python 3.11 und neuer unterstützt, entsprechend der Kompatibilitätsmatrix der PyTorch-Releases.
Die neueste öffentliche Version, 0.2.0, lässt sich mit pip aus PyPI installieren, wobei der CPU-Build von PyTorch aus einem zusätzlichen Index verwendet wird. Entwickler können Wheels auch mit Bazel aus dem Quellcode erstellen; optimierte Builds sind standardmäßig aktiviert, und für Nutzer ohne Zugangsdaten gibt es eine Option, Remote Build Execution zu deaktivieren.
Quelle: Hacker News · Zusammengefasst von HeadlinesBriefing