研究人员和开发者现在可以使用 MLX 在自己的硬件上私密地试验前沿级大语言模型，MLX 是面向 Apple 芯片的开源数组框架。该框架利用 Apple 芯片的统一内存架构，让任何人都能在本地运行新的推理和微调方法。
借助最新版 MLX，用户可以在办公桌旁的设备上运行 Muse Spark Open，这是一个拥有接近一万亿参数的模型。在由四台 Mac Studio 组成的集群上，该模型每秒可生成超过 36 个 token，远高于人类的平均阅读速度。运行可从单台最高配备 512GB 统一内存的 Mac Studio 开始，并通过 RDMA over Thunderbolt 驱动扩展到多台 Mac。
基准测试比较了两代 Mac Studio，即 M5 Ultra 和上一代 M3 Ultra。M5 系列配备 GPU 神经网络加速器，支持专用矩阵乘法运算，这对许多机器学习工作负载至关重要。测试的三个模型分别是 Muse Spark Open（816B 参数）、Mistral Medium 3.5（128B）和 Qwen 3.8（27B）。测试在 8,192 和 65,536 个 token 的上下文长度下，测量了首个 token 生成时间、生成吞吐量和峰值功耗。
智能体编程以及其他私密的基于智能体的应用通常需要较大的上下文，因此测试重点围绕这些工作负载展开。Qwen 3.8 和 Mistral Medium 3.5 可以轻松运行在单台 512GB 的 Mac Studio 上，在较大上下文长度下分别占用最多 68GB 和 158GB 内存。首个 token 的生成时间主要受计算能力限制，这正是 M5 Ultra 神经网络加速器优势最明显的地方。
来源: Hacker News · 由HeadlinesBriefing整理摘要