HeadlinesBriefing favicon HeadlinesBriefing.com

NVIDIA Rubin CPX AI एक्सीलरेटर HBM4 मेमोरी के साथ

TechPowerUp News •
×

NVIDIA ने अपने Rubin CPX AI एक्सीलरेटर प्रोजेक्ट को पुनर्जीवित किया है, अब इसमें पहले योजित GDDR7 के बजाय HBM4 मेमोरी है। प्रसिद्ध आपूर्ति श्रृंखला विश्लेषक Ming Chi Kuo ने रीडिजाइन की सूचना दी, यह भी बताया कि Rubin CPX को NVIDIA ने अपने plans for a specialized accelerator derived from the Rubin GPU family for large-scale agentic AI workloads की घोषणा के बाद पूरी तरह से बंद कर दिया था। रीडिजाइन किए गए Rubin CPX में 168 GB HBM4 मेमोरी है, जो मूल योजना के 128 GB GDDR7 से बढ़ी हुई है। इस GPU SKU को एक अलग rack में रखा जाता है, जिसमें प्रति rack 64 से 256 तक standalone CPX GPUs की कॉन्फिगरेशन होती है। यह GPU prefill वर्कलोड्स के लिए समर्पित है, जो LLMs और KV cache processing के लिए input context को प्रबंधित करने वाले racks को power करता है। NVIDIA prefill और decode कार्यों को अलग कर रहा है, जहाँ CPX GPUs prefill को संभालते हैं और regular Rubin GPUs decode को संभालते हैं। आठ CPX GPUs वाली एक rack tray 1.34 TB के long-context prefill और संबंधित KV cache को handle कर सकती है। चूंकि पिछला डिजाइन में HBM4 एकीकरण की आवश्यकता नहीं थी, NVIDIA ने package को रीडिजाइन किया है, शायद TSMC के Co Wo S-S या Co Wo S-L का उपयोग करके। चिप एक monolithic die पर 30 Peta FLOPS की NVFP4 compute performance प्रदान करती है। इसमें चार integrated NVENC और चार NVDEC video encoders डायरेक्टली on-chip हैं। अब trillion parameters वाले LLMs के लिए, prefill के लिए dedicated racks और decode के लिए अन्य racks को handle करने से token delivery बहुत तेज हो जाती है। NVIDIA यह भी recommend करता है कि decode rack में CPX GPUs और regular GPUs का 1:1 ratio बनाए रखा जाए।