データインフラ向け半導体ソリューションのリーダーであるMarvell Technology, Inc.は、第2世代となるMarvell Structera X 3406およびStructera X 3506 CXLメモリエクスパンダーを発表しました。これらの製品は、クラウド、エンタープライズ、AIインフラのプロバイダーが、AIとコンピューティングの次の時代に向けて、より効率的で拡張性が高く、高性能なシステムを構築できるよう設計されています。
AIおよび機械学習のワークロードは、データセンターの設計を変えつつあります。LLMの大規模化、コンテキストウィンドウの拡大、KVキャッシュ要件の増大により、従来のサーバーアーキテクチャでは対応しきれないメモリ需要が生まれています。LLMの提供からディープラーニング推薦モデル(DLRM)に至るまで、現代のAI推論ワークロードはメモリに制約されており、KVキャッシュの容量が最初のトークンまでの時間(TTFT)、スループット、XPUの利用率を直接左右します。
Structera X 3406/3506は業界初の機能をいくつも備えています。6チャネルのCXLメモリ拡張は、前世代より50%多いチャネルを提供し、3406では最大9TBのDDR4メモリ、3506では最大6TBのDDR5メモリに対応します。ホスト接続により、最大4台のホスト間でメモリ容量を共有でき、PCIe 6.0 x16のホスト帯域幅は最大256GB/sです。LZ4圧縮のスループットは最大5倍に達し、実効メモリ容量を最大2~3倍に引き出します。また、エンタープライズグレードの信頼性機能であるStruct Guardと、耐量子暗号によるセキュリティも追加されています。
DLRMのワークロードでは、Structera Xは毎秒のクエリ処理数を最大2倍に高めます。LLMの提供では、同等のコンテキスト長でTTFTを40~50%短縮するか、同等のレイテンシで対応可能なコンテキストウィンドウを最大2倍に延ばします。第1世代のStructera X 2404/2504をもとに、新製品は実績のあるソフトウェアスタックとエコシステム統合を活用し、迅速な立ち上げを支援します。
Objective Analysisのジェネラルディレクターであるジム・ハンディ氏は、CXLが高い帯域幅と大容量メモリへの対応により、AIシステムで広く採用されつつあると述べました。同氏は、現在のメモリ不足と高騰する価格により、IT管理者が中古のDDR4 DIMMをDDR5システムに再配置しており、メモリプーリングの拡大に伴い圧縮機能の価値はさらに高まると指摘しています。
出典: TechPowerUp News · 要約：HeadlinesBriefing