Google ha abierto el código de TorchTPU, un backend de PyTorch que permite a los usuarios ejecutar modelos y operaciones de PyTorch en las Unidades de Procesamiento Tensorial (TPU) de Google. El proyecto incluye kernels ATen personalizados para una serie de operaciones de PyTorch, una caché de compilación para optimizar la ejecución de cálculos XLA y ejemplos de entrenamiento distribuido e inferencia de modelos.
Entre las funciones principales se encuentran el soporte para entrenamiento distribuido mediante paralelismo de datos y paralelismo de tensores, la integración con torch.compile() para la ejecución en modo gráfico y utilidades para depuración y evaluación comparativa. Los modelos de ejemplo abarcan Llama, Qwen, ResNet, DLRM, minGPT y UNet.
Están disponibles una guía de usuario y cuadernos interactivos de Marimo, similares a Jupyter. Los cuadernos deben ejecutarse desde una VM de TPU, siendo recomendable una instancia GCE v6e como opción más sencilla. Actualmente se admite Python 3.11 y versiones posteriores, en línea con la matriz de compatibilidad de versiones de PyTorch.
La última versión pública, la 0.2.0, puede instalarse desde PyPI con pip, utilizando la compilación de PyTorch para CPU desde un índice adicional. Los desarrolladores también pueden compilar wheels desde el código fuente con Bazel, con compilaciones optimizadas activadas por defecto y una opción para desactivar Remote Build Execution para quienes no tengan credenciales.
Fuente: Hacker News · Resumido por HeadlinesBriefing