शोधकर्ता और डेवलपर अब MLX के ज़रिए अपने ही हार्डवेयर पर फ्रंटियर-क्लास बड़े भाषा मॉडल निजी तौर पर आज़मा सकते हैं। MLX Apple silicon के लिए बना एक ओपन-सोर्स ऐरे फ्रेमवर्क है। यह फ्रेमवर्क Apple silicon की यूनिफाइड मेमोरी आर्किटेक्चर का लाभ उठाता है, जिससे कोई भी नई इन्फरेंस और फाइन-ट्यूनिंग विधियाँ स्थानीय रूप से चला सकता है।
नवीनतम MLX रिलीज़ से Muse Spark Open को एक डेस्क सेटअप से चलाना संभव है, जो लगभग एक ट्रिलियन पैरामीटर वाला मॉडल है। चार Mac Studio के क्लस्टर पर यह मॉडल प्रति सेकंड 36 से अधिक टोकन उत्पन्न करता है, जो मनुष्य की औसत पढ़ने की गति से कहीं अधिक है। यह काम 512GB तक यूनिफाइड मेमोरी वाले एक Mac Studio से शुरू होता है और RDMA over Thunderbolt ड्राइवर के ज़रिए कई Mac तक फैलता है।
बेंचमार्क में दो पीढ़ियों के Mac Studio की तुलना की गई है: M5 Ultra और पिछली पीढ़ी का M3 Ultra। M5 पीढ़ी में GPU Neural Accelerator है, जो समर्पित मैट्रिक्स गुणन को सपोर्ट करता है, जो कई मशीन लर्निंग कार्यभारों के लिए आवश्यक है। तीन मॉडल परखे गए: Muse Spark Open (816B पैरामीटर), Mistral Medium 3.5 (128B) और Qwen 3.8 (27B)। 8,192 और 65,536 टोकन के संदर्भ आकार पर पहले टोकन का समय, जनरेशन थ्रूपुट और अधिकतम पावर उपयोग मापा गया।
एजेंटिक कोडिंग और अन्य निजी, एजेंट-आधारित अनुप्रयोगों को अक्सर बड़े संदर्भों की ज़रूरत होती है, इसलिए परीक्षण इन्हीं कार्यभारों पर केंद्रित हैं। Qwen 3.8 और Mistral Medium 3.5 एक 512GB Mac Studio पर आराम से समा जाते हैं, और बड़े संदर्भ आकार पर क्रमशः अधिकतम 68GB और 158GB RAM का उपयोग करते हैं। पहले टोकन का समय मुख्यतः कंप्यूट-बाउंड है, और यहीं M5 Ultra के Neural Accelerators का सबसे स्पष्ट लाभ दिखता है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित