Marvell Technology, Inc.是数据基础设施半导体解决方案的领导者,宣布推出第二代Marvell Structera X 3406和Structera X 3506 CXL内存扩展器。这些产品旨在帮助云、企业和AI基础设施提供商构建更高效、可扩展且性能更强的系统,迎接AI与计算的新时代。
AI和机器学习工作负载正在重塑数据中心设计。不断增长的大语言模型规模、不断扩大的上下文窗口以及日益增长的KV缓存需求,带来了传统服务器架构难以满足的内存需求。从LLM服务到深度学习推荐模型(DLRM)的现代AI推理工作负载都受内存限制,KV缓存容量直接决定首词元时间(TTFT)、吞吐量和XPU利用率。
Structera X 3406/3506引入了多项行业首创功能。其六通道CXL内存扩展提供比上一代多50%的通道,3406最多支持9 TB DDR4内存,3506最多支持6 TB DDR5内存。主机连接支持与最多四台主机共享内存容量,并提供最高256 GB/s的PCIe 6.0 x16主机带宽。LZ4压缩吞吐量最高提升5倍,可释放最多2-3倍的有效内存容量。这些设备还新增了Struct Guard企业级可靠性功能和后量子安全能力。
对于DLRM工作负载,Structera X的每秒查询数最高提升2倍。对于LLM服务,在相同上下文长度下,其TTFT最多快40-50%;或在相同延迟下,可支持最多2倍的上下文窗口。在第一代Structera X 2404/2504的基础上,新产品沿用经过验证的软件栈和生态集成,以支持加速量产。
Objective Analysis总经理Jim Handy表示,由于CXL具备高带宽和对大内存容量的支持,它正在AI系统中获得广泛采用。他指出,当前的内存短缺和高昂价格促使IT管理人员将二手DDR4内存条重新部署到DDR5系统中,并且随着内存池化的扩大,压缩功能将变得越来越有价值。
来源: TechPowerUp News · 由HeadlinesBriefing整理摘要