Meta совместно с Apple адаптировала свою крупную ИИ-модель Muse Spark Open для Mac Studio с чипом M5 Ultra, что позволяет разработчикам запускать продвинутый ИИ локально, а не полагаться на облачные серверы. Модель Muse Spark Open, анонсированная 15 октября, относится к открытым моделям с открытыми весами и предназначена для программирования, разработки программного обеспечения и задач, требующих нескольких шагов. Meta создала модель с 816 миллиардами параметров, однако во время обработки активны только 42 миллиарда.
Для запуска модели требуется как минимум два Mac Studio с M5 Ultra и по 512 ГБ объединённой памяти каждый либо четыре машины с конфигурацией по 256 ГБ. Используется оборудование, представленное в недавнем обновлении линейки Mac Studio от Apple. Конфигурация из четырёх машин уже доступна, однако вариант Apple на 512 ГБ, по ожиданиям, поступит в продажу лишь в конце октября. Решение опирается на архитектуру унифицированной памяти Apple, которая позволяет процессору и графическому процессору обращаться к одному и тому же пулу памяти. Даже этого объёма недостаточно для работы Muse Spark Open на одной машине, поскольку сжатые веса модели занимают примерно 493 ГБ ещё до учёта памяти, необходимой для обработки.
Открытый фреймворк MLX распределяет нагрузку между несколькими Mac, которые обмениваются данными через Thunderbolt 5 и удалённый прямой доступ к памяти (RDMA). В тестах Apple четыре Mac Studio с M5 Ultra выдавали более 36 токенов в секунду при контексте 8 192 токена. Реальная производительность зависит от типа нагрузки и длины контекста, но результаты показывают, что модель способна отвечать с практически приемлемой скоростью.
Meta продемонстрировала, что модель справляется с несколькими сложными рабочими процессами полностью на локальном оборудовании. С помощью инструмента разработки Muse Code модель изменила Ice Cubes, открытый клиент Mastodon для iOS: исправила ошибки, добавила функции и выполнила сборку. В другой демонстрации Muse Spark Open управляла Da Vinci Resolve, просматривала видеозаписи, находила полезные фрагменты и обрезала их до вертикальных клипов. Демонстрации показывают выполнение конкретных задач, но не доказывают, насколько надёжно модель работает в других сценариях.
Источник: AppleInsider · Сводку подготовил HeadlinesBriefing