Meningkatnya permintaan akan inferensi machine learning yang dipercepat GPU telah mengungkap keterbatasan infrastruktur GPU terpusat, yang sering kali menghadapi biaya tinggi, elastisitas terbatas, dan waktu tunggu yang panjang saat sumber daya terbatas. Sementara itu, perangkat macOS modern berbasis Apple Silicon memiliki GPU bertenaga yang sebagian besar menganggur selama penggunaan sehari-hari.
Makalah baru memperkenalkan Minions, cloud GPU virtual yang dinamis dan terdistribusi, yang menggabungkan GPU Apple Silicon yang menganggur di seluruh perangkat macOS untuk menjalankan beban kerja inferensi machine learning skala besar. Karena memanfaatkan perangkat keras yang sudah ada, Minions memungkinkan tim memperluas kapasitas komputasi tanpa membeli GPU tambahan.
Sistem ini dirancang untuk menangani eksekusi tugas inferensi GPU yang fleksibel, menawarkan toleransi kesalahan, dan memanfaatkan sumber daya secara efisien. Para perancangnya mencatat bahwa pendekatan ini mengandalkan prinsip berbagi sumber daya yang sama yang membuat komputasi terdistribusi praktis di bidang lain, yang di sini disesuaikan untuk mesin kelas konsumen.
Pengalaman para penulis menunjukkan bahwa perangkat macOS yang menganggur dapat diubah menjadi platform inferensi GPU terdistribusi yang praktis, terutama di lingkungan di mana sumber daya GPU terpusat langka.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing