Растущий спрос на ускоренный GPU инференс машинного обучения выявил ограничения централизованной GPU-инфраструктуры, которая часто страдает от высокой стоимости, ограниченной эластичности и долгого ожидания при нехватке ресурсов. Тем временем современные macOS-устройства на базе Apple Silicon оснащены мощными GPU, которые в повседневном использовании большую часть времени простаивают.
В новой статье представлена система Minions — динамическое распределённое виртуальное GPU-облако, которое объединяет эти простаивающие GPU Apple Silicon на устройствах macOS для выполнения масштабных задач инференса машинного обучения. Поскольку система использует уже имеющееся оборудование, команды могут наращивать вычислительные мощности без закупки дополнительных GPU.
Система рассчитана на гибкое выполнение задач GPU-инференса, отказоустойчивость и эффективное использование ресурсов. Её разработчики отмечают, что подход опирается на те же принципы совместного использования ресурсов, которые делают распределённые вычисления практичными в других сферах, адаптированные здесь для потребительских компьютеров.
Опыт авторов показывает, что простаивающие macOS-устройства можно превратить в практичную платформу распределённого GPU-инференса, особенно в условиях, где централизованные GPU-ресурсы дефицитны.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing