HeadlinesBriefing favicon HeadlinesBriefing.com

يشغل Slotstream نموذج Qwen3.8-Flash-Next على أجهزة Mac ذات الذاكرة المنخفضة

Hacker News •
×

يمكن لـ Slotstream تشغيل نموذج خليط الخبراء Qwen3.8-Flash-Next ذو 125 مليار معلمة على أجهزة Mac ذات ذاكرة RAM محدودة عن طريق بث خبراء النموذج من SSD. يتطلب النموذج 104 جيجابايت على القرص بدقة 4 بت، لكنه يعمل باستخدام جزء صغير فقط من ذلك في الذاكرة عبر MLX و Swift. يوفر واجهة برمجة تطبيقات متوافقة مع Ollama ويتم توزيعه كملف ثنائي Swift واحد بدون تبعيات Python. على جهاز M5 Pro بذاكرة 48 جيجابايت، يحقق ~12 رمز/ثانية مع استخدام ذروة للذاكرة يبلغ 32 جيجابايت في الوضع التلقائي. تتضمن المتطلبات الدنيا Apple Silicon، و macOS 14+، وحوالي 110 جيجابايت من مساحة القرص الحرة، مع اعتبار جهاز Mac بسعة 512 جيجابايت هو الحد الأدنى الواقعي. تتضمن الأداة وضع "الطبيب" لمحاكاة الأداء عبر تكوينات RAM مختلفة. يتم التثبيت عبر سطر أوامر shell واحد، ويتم تنزيل الأوزان عند الاستخدام الأول مع فحوصات السلامة عبر تجزئات SHA-256. تستخدم عمليات السحب اتصالات TCP متعددة لنقل أسرع، وتكون المقاطعات آمنة بفضل التنزيلات القابلة للاستئناف. يشمل العمل المستقبلي تنفيذ وحدة MTP لفك التشفير التخميني.