Meta telah bekerja sama dengan Apple untuk menghadirkan model AI besar mereka, Muse Spark Open, ke Mac Studio M5 Ultra, sehingga developer dapat menjalankan AI canggih secara lokal alih-alih bergantung pada server cloud. Diumumkan pada 15 Oktober, Muse Spark Open adalah model AI dengan open-weight yang dirancang untuk coding, rekayasa perangkat lunak, dan tugas yang membutuhkan banyak langkah. Meta mengembangkan model ini dengan 816 miliar parameter, namun hanya 42 miliar yang aktif selama pemrosesan.
Untuk menjalankan model ini diperlukan minimal dua Mac Studio M5 Ultra dengan masing-masing 512GB memori terpadu, atau empat mesin dengan konfigurasi masing-masing 256GB, menggunakan perangkat keras yang diperkenalkan dalam pembaruan Mac Studio terbaru Apple. Konfigurasi empat mesin sudah tersedia saat ini, tetapi opsi 512GB dari Apple diperkirakan baru dikirim pada akhir Oktober. Kolaborasi ini memanfaatkan arsitektur memori terpadu Apple, yang memungkinkan CPU dan GPU mengakses kumpulan memori yang sama. Meski demikian, jumlah memori sebesar itu tetap tidak cukup untuk menjalankan Muse Spark Open pada satu mesin, karena bobot model yang terkompresi sudah menempati sekitar 493GB sebelum memperhitungkan memori tambahan yang dibutuhkan selama pemrosesan.
Framework open-source MLX mendistribusikan beban kerja ke beberapa Mac, yang saling berkomunikasi melalui Thunderbolt 5 dan remote direct memory access, atau RDMA. Dalam benchmark Apple, empat Mac Studio M5 Ultra menghasilkan lebih dari 36 token per detik dengan konteks 8.192 token. Kinerja aktual bergantung pada beban kerja dan panjang konteks, tetapi hasilnya menunjukkan model ini dapat memberikan respons dengan kecepatan yang layak digunakan.
Meta mendemonstrasikan model ini menangani beberapa alur kerja kompleks sepenuhnya di perangkat keras lokal. Menggunakan alat pengembangan Muse Code, model ini memodifikasi Ice Cubes, klien Mastodon open-source untuk iOS, dengan memperbaiki bug, menambahkan fitur, dan menyelesaikan proses build. Demonstrasi lain menunjukkan Muse Spark Open mengendalikan Da Vinci Resolve untuk meninjau materi video, mengidentifikasi bagian yang berguna, dan memotongnya menjadi klip vertikal. Demonstrasi tersebut memperlihatkan penyelesaian tugas tertentu, tetapi tidak membuktikan seberapa andal model ini pada alur kerja lainnya.
Sumber: AppleInsider · Diringkas oleh HeadlinesBriefing