HeadlinesBriefing favicon HeadlinesBriefing.com

Slotstream запускает Qwen3.8-Flash-Next на Mac с малым объемом памяти

Hacker News •
×

Slotstream позволяет запускать модель смеси экспертов Qwen3.8-Flash-Next с 125 миллиардами параметров на Mac с ограниченной RAM, стримя экспертов модели с SSD. Модель требует 104 GB на диске при 4-битной точности, но запускается, используя только долю этой памяти через MLX и Swift. Он предоставляет API, совместимый с Ollama, и распространяется как единый бинарный файл Swift без зависимостей Python. На M5 Pro с 48 GB он достигает ~12 токенов/сек с пиковым использованием памяти 32 GB в автоматическом режиме. Минимальные требования включают Apple Silicon, macOS 14+ и ~110 GB свободного места на диске, при этом Mac на 512 GB является реалистичной базовой линией. Инструмент включает режим 'doctor' для симуляции производительности при разных конфигурациях RAM. Установка осуществляется через однострочный shell-скрипт, а веса загружаются при первом использовании с проверками целостности через хеши SHA-256. Операции pull используют несколько TCP-соединений для более быстрых передач, и прерывания безопасны благодаря возобновляемым загрузкам. Будущая работа включает реализацию модуля MTP для спекулятивного декодирования.