Peneliti dan pengembang kini dapat bereksperimen secara privat dengan model bahasa besar kelas terdepan di perangkat keras mereka sendiri menggunakan MLX, framework array open-source untuk Apple silicon. Framework ini memanfaatkan arsitektur memori terpadu pada Apple silicon, sehingga siapa pun dapat menjalankan metode inferensi dan fine-tuning baru secara lokal.
Rilis MLX terbaru memungkinkan Muse Spark Open, model dengan hampir satu triliun parameter, dijalankan dari meja kerja. Pada klaster empat Mac Studio, model ini menghasilkan lebih dari 36 token per detik, jauh di atas kecepatan membaca rata-rata manusia. Eksekusi dimulai pada satu Mac Studio dengan memori terpadu hingga 512GB, lalu diskalakan ke beberapa Mac menggunakan driver RDMA over Thunderbolt.
Benchmark membandingkan dua generasi Mac Studio, yaitu M5 Ultra dan M3 Ultra generasi sebelumnya. Generasi M5 menyertakan GPU Neural Accelerator yang mendukung perkalian matriks khusus, kemampuan yang penting untuk banyak beban kerja machine learning. Tiga model diuji: Muse Spark Open (816 miliar parameter), Mistral Medium 3.5 (128 miliar), dan Qwen 3.8 (27 miliar). Waktu hingga token pertama, throughput generasi, dan puncak konsumsi daya diukur pada ukuran konteks 8.192 dan 65.536 token.
Agentic coding dan aplikasi privat berbasis agen lainnya sering membutuhkan konteks yang besar, sehingga pengujian berfokus pada beban kerja tersebut. Qwen 3.8 dan Mistral Medium 3.5 muat dengan nyaman di satu Mac Studio 512GB, dengan penggunaan RAM masing-masing hingga 68GB dan 158GB pada ukuran konteks yang lebih besar. Waktu hingga token pertama sebagian besar dibatasi oleh komputasi, dan di sinilah Neural Accelerator pada M5 Ultra memberikan keunggulan paling jelas.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing