GPUを活用した機械学習推論の需要が高まる中で、集中型GPUインフラの限界が明らかになってきました。集中型インフラはコストが高く、柔軟性に乏しく、リソースが逼迫すると長い待ち時間が生じがちです。一方、現代のApple Siliconを搭載したmacOSデバイスは強力なGPUを備えていますが、日常的な使用中はその大部分が遊休状態にあります。
新しい論文は「Minions」を紹介しています。これは動的で分散型の仮想GPUクラウドであり、macOSデバイス全体に散らばる遊休のApple Silicon GPUを集約して、大規模な機械学習推論ワークロードを実行します。既存のハードウェアを活用するため、チームは追加のGPUを購入することなく計算能力を拡張できます。
このシステムは、柔軟なGPU推論タスクの実行、耐障害性の提供、リソースの効率的な利用を目的として設計されています。設計者は、このアプローチが、他の分野で分散コンピューティングを実用的にしているのと同じリソース共有の原則に基づいており、ここでは一般消費者向けのマシンに合わせて調整されていると述べています。
著者らの経験から、遊休状態のmacOSデバイスは実用的な分散GPU推論プラットフォームに転換できることが示唆されています。特に集中型GPUリソースが不足している環境では有効だとしています。
出典: Hacker News · 要約：HeadlinesBriefing