HeadlinesBriefing favicon HeadlinesBriefing.com

Slotstream कम मेमोरी वाले Mac पर Qwen3.8-Flash-Next चलाता है

Hacker News •
×

Slotstream मॉडल विशेषज्ञों को SSD से स्ट्रीम करके 125 बिलियन पैरामीटर वाले Qwen3.8-Flash-Next मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल को सीमित RAM वाले Mac पर चलाने में सक्षम बनाता है। 4-बिट प्रिसिजन पर मॉडल को डिस्क पर 104 GB की आवश्यकता होती है, लेकिन MLX और Swift के माध्यम से यह उसमें से केवल एक अंश का उपयोग करके मेमोरी में चलता है। यह एक Ollama-संगत API प्रदान करता है और बिना किसी Python निर्भरता के एकल Swift बाइनरी के रूप में वितरित किया जाता है। 48 GB M5 Pro पर, यह ऑटो मोड में 32 GB की पीक मेमोरी उपयोग के साथ ~12 टोकन/सेकंड प्राप्त करता है। न्यूनतम आवश्यकताओं में Apple Silicon, macOS 14+, और ~110 GB खाली डिस्क स्थान शामिल है, जिसमें 512 GB का Mac यथार्थवादी आधार रेखा है। टूल में विभिन्न RAM कॉन्फ़िगरेशन में प्रदर्शन का अनुकरण करने के लिए एक 'डॉक्टर' मोड शामिल है। इंस्टॉलेशन एक-लाइन शेल स्क्रिप्ट के माध्यम से होता है, और वजन पहली बार उपयोग पर SHA-256 हैश के माध्यम से अखंडता जांच के साथ डाउनलोड किए जाते हैं। पुल ऑपरेशन तेज ट्रांसफर के लिए कई TCP कनेक्शन का उपयोग करते हैं, और रुकावटें पुनरारंभ करने योग्य डाउनलोड के कारण सुरक्षित हैं। भविष्य के काम में स्पेकुलेटिव डिकोडिंग के लिए MTP मॉड्यूल को लागू करना शामिल है।