গবেষক ও ডেভেলপাররা এখন MLX ব্যবহার করে নিজেদের হার্ডওয়্যারে ফ্রন্টিয়ার-ক্লাস বড় ভাষা মডেল ব্যক্তিগতভাবে পরীক্ষা করতে পারেন। MLX হলো Apple silicon-এর জন্য একটি ওপেন-সোর্স অ্যারে ফ্রেমওয়ার্ক। এই ফ্রেমওয়ার্ক Apple silicon-এর ইউনিফাইড মেমরি আর্কিটেকচারের সুবিধা নেয়, যাতে যে কেউ নতুন ইনফারেন্স ও ফাইন-টিউনিং পদ্ধতি স্থানীয়ভাবে চালাতে পারে।
সর্বশেষ MLX রিলিজের মাধ্যমে একটি ডেস্ক সেটআপ থেকেই Muse Spark Open চালানো সম্ভব, যার প্রায় এক ট্রিলিয়ন প্যারামিটার রয়েছে। চারটি Mac Studio-র একটি ক্লাস্টারে মডেলটি প্রতি সেকেন্ডে ৩৬টির বেশি টোকেন তৈরি করে, যা মানুষের গড় পড়ার গতির চেয়ে অনেক বেশি। একটি Mac Studio থেকে শুরু হয়, যেখানে সর্বোচ্চ ৫১২GB ইউনিফাইড মেমরি থাকতে পারে, এবং RDMA over Thunderbolt ড্রাইভারের মাধ্যমে একাধিক Mac-এ বিস্তৃত হয়।
বেঞ্চমার্কে দুই প্রজন্মের Mac Studio তুলনা করা হয়েছে: M5 Ultra এবং আগের প্রজন্মের M3 Ultra। M5 প্রজন্মে GPU Neural Accelerator রয়েছে, যা নির্দিষ্ট ম্যাট্রিক্স গুণনকে সমর্থন করে এবং অনেক মেশিন লার্নিং কাজের জন্য অপরিহার্য। তিনটি মডেল পরীক্ষা করা হয়েছে: Muse Spark Open (৮১৬B প্যারামিটার), Mistral Medium 3.5 (১২৮B) এবং Qwen 3.8 (২৭B)। ৮,১৯২ ও ৬৫,৫৩৬ টোকেনের কনটেক্সট সাইজে প্রথম টোকেন পাওয়ার সময়, জেনারেশন থ্রুপুট ও সর্বোচ্চ বিদ্যুৎ ব্যবহার পরিমাপ করা হয়েছে।
এজেন্টিক কোডিং এবং অন্যান্য ব্যক্তিগত, এজেন্ট-ভিত্তিক অ্যাপ্লিকেশনে প্রায়ই বড় কনটেক্সট প্রয়োজন হয়, তাই পরীক্ষাগুলো এই ধরনের কাজের ওপর কেন্দ্রীভূত। বড় কনটেক্সট সাইজে Qwen 3.8 ও Mistral Medium 3.5 একটি 512GB Mac Studio-তে সহজেই চলে, যথাক্রমে সর্বোচ্চ ৬৮GB ও ১৫৮GB RAM ব্যবহার করে। প্রথম টোকেন পাওয়ার সময় মূলত কম্পিউট-বাউন্ড, এবং সেখানেই M5 Ultra-এর Neural Accelerator সবচেয়ে স্পষ্ট সুবিধা দেয়।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing