d-Matrix 今日宣布推出 d-Matrix Squadron，这是一组多机架系统，可在数据中心规模为 AI 模型提供兆瓦级高效推理算力。Squadron 集群基于 d-Matrix 的内存中心架构构建，服务于运行编码、个人助手、网络安全和高频交易等延迟敏感型应用的 AI 实验室、企业和主权组织。该系统由 Arista、Broadcom 和 Supermicro 共同开发，现已部署在 d-Matrix 位于亚利桑那州的数据中心，并开始向优先客户发货。Corsair 服务器和 Squad Racks 也已全面上市。
“我们以内存中心计算优势赋能客户的旅程，与 d-Matrix 从专用芯片公司向数据中心计算基础设施企业的演进相辅相成，”d-Matrix 创始人兼首席执行官 Sid Sheth 在圣何塞 OCP 全球峰会上发布了 Squadron 时如此表示。“随着 Squadron 的发货，以及 Corsair 服务器和 Squad Racks 的全面上市，等待已经结束。”
Squadron 最多可扩展至 16 个 Squad Racks（每个为单机架八服务器），支持最多 1,024 个 d-Matrix Corsair XPU。集群使用 Jet Stream NIC 和 Aviator 软件，采用行业标准风冷设计，无需液冷即可集成到现有数据中心中。
在主题演讲中，Sheth 还展示了 d-Matrix 成功实现 Attention-FFN 解耦（AFD），将 Squadron 与 GPU 服务器配对。将 Experts/FFN 卸载至 Corsair 机架后，每个用户可实现 845 tokens/秒，64 个并发用户总计达到 20,415 tokens/秒 的吞吐量。
来源: TechPowerUp News · 由HeadlinesBriefing整理摘要