对GPU加速机器学习推理日益增长的需求,暴露了集中式GPU基础设施的局限性,这类基础设施往往成本高昂、弹性有限,且在资源紧张时需要长时间等待。与此同时,基于现代Apple Silicon的macOS设备配备了功能强大的GPU,而这些GPU在日常使用中大多处于闲置状态。
一篇新论文提出了Minions,这是一种动态的分布式虚拟GPU云,可汇聚各台macOS设备上闲置的Apple Silicon GPU,用于运行大规模机器学习推理工作负载。由于它利用的是现有硬件,团队无需采购额外的GPU即可扩展计算能力。
该系统旨在灵活地执行GPU推理任务,提供容错能力并高效利用资源。其设计者指出,该方法依赖于同样使分布式计算在其他场景中切实可行的资源共享原则,并针对消费级设备进行了调整。
作者的经验表明,闲置的macOS设备可以转变为实用的分布式GPU推理平台,在集中式GPU资源稀缺的环境中尤其如此。
来源: Hacker News · 由HeadlinesBriefing整理摘要