Meta Apple-এর সঙ্গে কাজ করে তাদের বিশাল Muse Spark Open AI মডেলটি M5 Ultra Mac Studio-তে চালানোর ব্যবস্থা করেছে, যাতে ডেভেলপাররা ক্লাউড সার্ভারের উপর নির্ভর না করে স্থানীয়ভাবে উন্নত AI চালাতে পারেন। ১৫ অক্টোবর ঘোষিত Muse Spark Open একটি ওপেন-ওয়েট AI মডেল, যা কোডিং, সফটওয়্যার ইঞ্জিনিয়ারিং এবং একাধিক ধাপের কাজের জন্য তৈরি করা হয়েছে। Meta মডেলটি ৮১৬ বিলিয়ন প্যারামিটার দিয়ে তৈরি করেছে, তবে প্রসেসিংয়ের সময় মাত্র ৪২ বিলিয়ন সক্রিয় থাকে।
এই মডেল চালাতে অন্তত দুটি M5 Ultra Mac Studio লাগবে, যেগুলোর প্রতিটিতে ৫১২GB ইউনিফাইড মেমরি থাকবে; অথবা প্রতিটি ২৫৬GB করে কনফিগার করা চারটি মেশিন লাগবে। এই হার্ডওয়্যার Apple-এর সাম্প্রতিক Mac Studio রিফ্রেশে চালু হয়েছে। চার-মেশিন কনফিগারেশন এখন পাওয়া যাচ্ছে, তবে Apple-এর ৫১২GB বিকল্প অক্টোবরের শেষের আগে পাঠানোর সম্ভাবনা নেই। এই সহযোগিতায় Apple-এর ইউনিফাইড মেমরি আর্কিটেকচারের সুবিধা নেওয়া হয়েছে, যেখানে CPU ও GPU একই মেমরি পুলে প্রবেশ করতে পারে। তবু এত মেমরিও একটি মেশিনে Muse Spark Open চালানোর জন্য যথেষ্ট নয়, কারণ প্রসেসিংয়ের অতিরিক্ত মেমরি ধরার আগেই মডেলের সংকুচিত ওয়েটই প্রায় ৪৯৩GB দখল করে।
ওপেন-সোর্স MLX ফ্রেমওয়ার্ক একাধিক Mac-এ কাজ ভাগ করে দেয়, এবং এই মেশিনগুলো Thunderbolt 5 ও remote direct memory access বা RDMA-এর মাধ্যমে যোগাযোগ করে। Apple-এর বেঞ্চমার্কে ৮,১৯২-টোকেন প্রেক্ষাপটে চারটি M5 Ultra Mac Studio প্রতি সেকেন্ডে ৩৬ টোকেনের বেশি তৈরি করেছে। প্রকৃত কর্মক্ষমতা কাজের ধরন ও প্রেক্ষাপটের দৈর্ঘ্যের ওপর নির্ভর করে, তবে ফলাফল বলছে মডেলটি ব্যবহারযোগ্য গতিতে উত্তর দিতে পারে।
Meta দেখিয়েছে যে মডেলটি সম্পূর্ণ স্থানীয় হার্ডওয়্যারে একাধিক জটিল ওয়ার্কফ্লো সামলাতে পারে। নিজেদের Muse Code ডেভেলপমেন্ট টুল ব্যবহার করে মডেলটি iOS-এর জন্য ওপেন-সোর্স Mastodon ক্লায়েন্ট Ice Cubes-এ পরিবর্তন এনেছে, বাগ ঠিক করেছে, নতুন ফিচার যোগ করেছে এবং একটি বিল্ড সম্পন্ন করেছে। আরেকটি প্রদর্শনীতে দেখা গেছে Muse Spark Open Da Vinci Resolve নিয়ন্ত্রণ করে ভিডিও ফুটেজ পর্যালোচনা করছে, কাজের অংশ শনাক্ত করছে এবং সেগুলো ভার্টিকাল ক্লিপে কেটে দিচ্ছে। এই প্রদর্শনীগুলো নির্দিষ্ট কাজ সম্পন্ন হওয়া দেখায়, তবে অন্য ওয়ার্কফ্লোতে মডেলটি কতটা নির্ভরযোগ্যভাবে কাজ করে তা প্রমাণ করে না।
উৎস: AppleInsider · সারাংশ: HeadlinesBriefing