HeadlinesBriefing favicon HeadlinesBriefing.com

NVIDIA Rubin CPX AI加速器 HBM4メモリ搭載

TechPowerUp News •
×

NVIDIAは、Rubin CPX AI加速器プロジェクトを復活させ、以前計画されていたGDDR7の代わりにHBM4メモリを搭載した。サプライチェーン-analistのMing Chi Kuoがこの再設計を報告し、NVIDIAがRubin GPUファミリーから派生した専用加速器を大規模なエージェンスAI workload用に発表した後、Rubin CPXは一時停止していたと指摘した。再設計されたRubin CPXは、元の128GB GDDR7計画から向上した168GBのHBM4メモリを搭載している。このGPU SKUは、1ラックあたり64から256の独立したCPX GPUが構成できる別ラックに収められる。このGPUはprefill workloadに専用され、LLMの入力コンテキストとKVキャッシュ処理を管理するラックを駆動する。NVIDIAはprefillとdecodeを分離し、CPX GPUがprefillを処理し、通常のRubin GPUがdecodeを管理する。8つのCPX GPUを搭載したラックトレイは、1.34TBの長時間コンテキストprefillと関連するKVキャッシュを処理できる。以前の設計ではHBM4の統合が不要だったため、NVIDIAはパッケージを再設計し、TSMCのCo Wo S-SまたはCo Wo S-Lをパッケージングに使用する可能性がある。このチップは、単一チップ上での30 Peta FLOPSのNVFP4コンピューティング性能を発揮する。オンチップには4つの統合NVENCと4つのNVDECビデオエンコーダーが含まれている。現在数兆パラメータを含むLLMに対して、prefill用の専用ラックがあり、他のラックがdecodeを処理することで、tokenの配信を大幅に高速化できる。NVIDIAは、decodeラック内的にCPX GPUと通常のGPUの1:1の比率を維持することを推奨している。