Google открыл исходный код TorchTPU — бэкенда PyTorch, который позволяет пользователям запускать модели и операции PyTorch на тензорных процессорах (TPU) Google. Проект включает пользовательские ядра ATen для ряда операций PyTorch, кэш компиляции для оптимизации выполнения вычислений XLA, а также примеры распределённого обучения и инференса моделей.
К ключевым возможностям относятся поддержка распределённого обучения с помощью Data Parallelism и Tensor Parallelism, интеграция с torch.compile() для выполнения в графовом режиме, а также утилиты для отладки и бенчмаркинга. Примеры моделей охватывают Llama, Qwen, ResNet, DLRM, minGPT и UNet.
Доступны руководство пользователя и интерактивные блокноты Marimo, похожие на Jupyter. Блокноты необходимо запускать из виртуальной машины TPU, при этом в качестве самого простого варианта рекомендуется экземпляр v6e GCE. В настоящее время поддерживается Python 3.11 и более поздние версии, что соответствует матрице совместимости релизов PyTorch.
Последний публичный релиз, версия 0.2.0, можно установить из PyPI с помощью pip, используя сборку PyTorch для CPU из дополнительного индекса. Разработчики также могут собирать wheel-пакеты из исходного кода с помощью Bazel: оптимизированные сборки включены по умолчанию, а для тех, у кого нет учётных данных, предусмотрена возможность отключить Remote Build Execution.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing