Meta ने Apple के साथ मिलकर अपने विशाल Muse Spark Open AI मॉडल को M5 Ultra Mac Studio पर लाने का काम किया है, जिससे डेवलपर क्लाउड सर्वर पर निर्भर रहने के बजाय उन्नत AI को लोकल रूप से चला सकते हैं। 15 अक्टूबर को घोषित Muse Spark Open एक ओपन-वेट AI मॉडल है, जिसे कोडिंग, सॉफ़्टवेयर इंजीनियरिंग और ऐसे कार्यों के लिए डिज़ाइन किया गया है जिनमें कई चरण शामिल होते हैं। Meta ने इस मॉडल को 816 बिलियन पैरामीटर के साथ विकसित किया है, हालांकि प्रोसेसिंग के दौरान केवल 42 बिलियन पैरामीटर सक्रिय रहते हैं।
इस मॉडल को चलाने के लिए कम से कम दो M5 Ultra Mac Studio चाहिए, जिनमें से प्रत्येक में 512GB यूनिफ़ाइड मेमोरी हो, या फिर चार मशीनें, जिनमें से हर एक 256GB के साथ कॉन्फ़िगर की गई हो। यह हार्डवेयर Apple के हाल के Mac Studio रिफ़्रेश में पेश किया गया था। चार-मशीन कॉन्फ़िगरेशन अभी उपलब्ध है, लेकिन Apple का 512GB विकल्प अक्टूबर के अंत तक ही शिप होने की उम्मीद है। यह सहयोग Apple की यूनिफ़ाइड मेमोरी आर्किटेक्चर का लाभ उठाता है, जिसमें CPU और GPU एक ही मेमोरी पूल तक पहुंच सकते हैं। फिर भी, इतनी मेमोरी एक ही मशीन पर Muse Spark Open के लिए पर्याप्त नहीं है, क्योंकि प्रोसेसिंग के लिए आवश्यक अतिरिक्त मेमोरी से पहले ही मॉडल के संपीड़ित वेट लगभग 493GB घेर लेते हैं।
ओपन-सोर्स MLX फ्रेमवर्क कई Mac में वर्कलोड बांटता है, और ये मशीनें Thunderbolt 5 और remote direct memory access (RDMA) के ज़रिए आपस में संवाद करती हैं। Apple के बेंचमार्क में, चार M5 Ultra Mac Studio ने 8,192-टोकन संदर्भ के साथ 36 टोकन प्रति सेकंड से अधिक गति दी। वास्तविक प्रदर्शन वर्कलोड और संदर्भ की लंबाई पर निर्भर करता है, लेकिन नतीजे बताते हैं कि मॉडल व्यावहारिक गति से जवाब दे सकता है।
Meta ने दिखाया कि यह मॉडल पूरी तरह लोकल हार्डवेयर पर कई जटिल वर्कफ़्लो संभाल सकता है। अपने Muse Code डेवलपमेंट टूल का उपयोग करके, मॉडल ने iOS के लिए एक ओपन-सोर्स Mastodon क्लाइंट Ice Cubes में बदलाव किए, बग ठीक किए, फ़ीचर जोड़े और बिल्ड पूरा किया। एक अन्य प्रदर्शन में Muse Spark Open को Da Vinci Resolve को नियंत्रित करते हुए दिखाया गया, जहां उसने वीडियो फुटेज की समीक्षा की, उपयोगी हिस्सों की पहचान की और उन्हें वर्टिकल क्लिप में काटा। ये प्रदर्शन दिखाते हैं कि मॉडल विशिष्ट कार्य पूरे करता है, लेकिन यह स्पष्ट नहीं करते कि अन्य वर्कफ़्लो में वह कितना भरोसेमंद है।
स्रोत: AppleInsider · HeadlinesBriefing द्वारा सारांशित