يمكن للباحثين والمطورين الآن تجربة نماذج اللغة الكبيرة من الطراز الرائد بشكل خاص على أجهزتهم الخاصة باستخدام MLX، وهو إطار مصفوفات مفتوح المصدر لشرائح Apple. يستفيد الإطار من بنية الذاكرة الموحدة في شرائح Apple، مما يتيح لأي شخص تشغيل طرق الاستدلال والضبط الدقيق الجديدة محليًا.
يتيح الإصدار الأحدث من MLX تشغيل Muse Spark Open، وهو نموذج يقارب تريليون معامل، من إعداد مكتبي. وعلى مجموعة من أربعة أجهزة Mac Studio، يولّد النموذج أكثر من 36 رمزًا في الثانية، وهي سرعة تفوق بكثير متوسط سرعة القراءة البشرية. يبدأ التشغيل على جهاز Mac Studio واحد بذاكرة موحدة تصل إلى 512 غيغابايت، ثم يتوسع عبر عدة أجهزة Mac باستخدام برنامج تشغيل RDMA عبر Thunderbolt.
تقارن الاختبارات جيلين من Mac Studio، هما M5 Ultra وM3 Ultra السابق. يتضمن جيل M5 مُسرِّع الشبكات العصبية في وحدة معالجة الرسومات، الذي يدعم عمليات ضرب المصفوفات المخصصة، وهي قدرة أساسية للكثير من أحمال عمل تعلم الآلة. وتم اختبار ثلاثة نماذج: Muse Spark Open (816 مليار معامل) وMistral Medium 3.5 (128 مليار) وQwen 3.8 (27 مليار). وقيس زمن الرمز الأول وإنتاجية التوليد وذروة استهلاك الطاقة عبر أحجام سياق تبلغ 8,192 و65,536 رمزًا.
غالبًا ما تتطلب البرمجة الوكيلة والتطبيقات الخاصة القائمة على الوكلاء سياقات كبيرة، ولذلك تركز الاختبارات على هذه الأحمال. يتسع Qwen 3.8 وMistral Medium 3.5 بسهولة على جهاز Mac Studio واحد بذاكرة 512 غيغابايت، ويستهلكان حتى 68 غيغابايت و158 غيغابايت من الذاكرة على التوالي عند حجم السياق الأكبر. ويتقيد زمن الرمز الأول إلى حد كبير بقدرة الحوسبة، وهنا تظهر أوضح مزايا مُسرِّعات الشبكات العصبية في M5 Ultra.
المصدر: Hacker News · لخّصه HeadlinesBriefing