Muse Spark Open 现已推出,其权重正式发布,是迄今能力最强的美国开放权重模型。该模型原生支持多模态,总参数量为816B(激活参数42B),上下文窗口达100万token。专为编程和智能体任务打造,擅长长周期任务、复杂软件工程和多步推理。
这类先进模型首次能够在台式机上运行。借助两台配备Apple M5 Ultra的Mac Studio和最新的MLX框架,两台机器可以汇集统一内存,完整容纳整个模型。Apple的统一内存架构使每颗M5 Ultra的集成GPU最多可使用512 GB内存,芯片1.2 TB/s的内存带宽足以快速读取每个token所需的那一小部分参数。测试人员完全在本地设备上运行了智能体工作流,包括为开源Mastodon客户端Ice Cubes交付真实的iOS代码修改,以及端到端地操作Da Vinci Resolve。
该模型可通过Baseten、Fireworks AI、Groq、Modal、Nebius、Open Router和Together AI等API平台使用。权重可从Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face和Microsoft Foundry Models下载。它支持SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、Apple MLX、llama.cpp和Unsloth等推理引擎,并针对AMD、Apple、Intel和NVIDIA芯片进行了优化。SGLang中定制的Helion GPU内核在NVIDIA和AMD GPU上可实现1.03-3.95倍的内核级加速。
权重依据Muse模型许可证发布,商业条款有限,许多开发者可免费使用该模型。模型经过了额外的安全后训练,并达到了Meta超级智能扩展框架规定的发布门槛。完整评估报告预计即将发布。
来源: Hacker News · 由HeadlinesBriefing整理摘要