Исследователи и разработчики теперь могут приватно экспериментировать с большими языковыми моделями передового класса на собственном оборудовании, используя MLX — открытый фреймворк для массивов под Apple silicon. Фреймворк использует архитектуру унифицированной памяти Apple silicon, позволяя каждому локально запускать новые методы инференса и дообучения.
Последний релиз MLX делает возможным запуск Muse Spark Open — модели почти с триллионом параметров — прямо с рабочего стола. На кластере из четырёх Mac Studio модель генерирует более 36 токенов в секунду, что заметно превышает среднюю скорость чтения человека. Работа начинается на одном Mac Studio с объёмом унифицированной памяти до 512 ГБ, а затем масштабируется на несколько Mac с помощью драйвера RDMA over Thunderbolt.
Тесты сравнивают два поколения Mac Studio: M5 Ultra и предыдущий M3 Ultra. В поколении M5 есть нейроускоритель GPU, поддерживающий специализированное матричное умножение — возможность, критически важную для многих задач машинного обучения. Протестированы три модели: Muse Spark Open (816 млрд параметров), Mistral Medium 3.5 (128 млрд) и Qwen 3.8 (27 млрд). Измерялись время до первого токена, пропускная способность генерации и пиковое энергопотребление при контекстах 8 192 и 65 536 токенов.
Агентное программирование и другие приватные приложения на основе агентов часто требуют больших контекстов, поэтому тесты сосредоточены именно на таких нагрузках. Qwen 3.8 и Mistral Medium 3.5 свободно помещаются на один Mac Studio с 512 ГБ, занимая при большом контексте до 68 ГБ и 158 ГБ оперативной памяти соответственно. Время до первого токена в основном ограничено вычислениями, и именно здесь нейроускорители M5 Ultra дают наиболее явное преимущество.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing