O Google abriu o código do TorchTPU, um backend do PyTorch que permite aos usuários executar modelos e operações do PyTorch nas Tensor Processing Units (TPUs) do Google. O projeto inclui kernels ATen personalizados para uma série de operações do PyTorch, um cache de compilação para otimizar a execução de cálculos XLA e exemplos de treinamento distribuído e inferência de modelos.
Entre os principais recursos estão o suporte a treinamento distribuído por meio de Data Parallelism e Tensor Parallelism, a integração com torch.compile() para execução em modo de grafo e utilitários para depuração e benchmarking. Os modelos de exemplo incluem Llama, Qwen, ResNet, DLRM, minGPT e UNet.
Estão disponíveis um guia do usuário e notebooks Marimo interativos, semelhantes ao Jupyter. Os notebooks devem ser executados a partir de uma VM de TPU, sendo recomendada uma instância v6e GCE como a opção mais simples. Atualmente, há suporte para Python 3.11 e versões posteriores, em conformidade com a matriz de compatibilidade de versões do PyTorch.
A versão pública mais recente, 0.2.0, pode ser instalada a partir do PyPI com pip, usando a build de CPU do PyTorch a partir de um índice extra. Os desenvolvedores também podem construir wheels a partir do código-fonte com Bazel, com builds otimizadas habilitadas por padrão e uma opção para desativar o Remote Build Execution para quem não possui credenciais.
Fonte: Hacker News · Resumido por HeadlinesBriefing