HeadlinesBriefing favicon HeadlinesBriefing.com

NVIDIA Rubin CPX AI স্পীডার HBM4 মেমোরির সাথে

TechPowerUp News •
×

NVIDIA তার Rubin CPX AI স্পীডার প্রজেক্টকে পুনরুজ্জীবিত করেছে, এখন এটি পূর্বে পরিকল্পিত GDDR7-এর পরিবর্তে HBM4 মেমোরি ব্যবহার করে। সুপরিচিত সরবরাহ চেইন বিশ্লেষক Ming Chi Kuo রিডিজাইনটি সংবাদ দিয়েছেন, লক্ষ্য করেছেন যে Rubin CPX আগে বন্ধ ছিল যখন NVIDIA তার রুবিন GPU পরিবার থেকে উৎপন্ন একটি বিশেষ স্পীডারের পরিকল্পনা ঘোষণা করেছিল বৃহত্তর আগেন্টিক AI ওয়ার্কলোডের জন্য। রিডিজাইন করা Rubin CPX এটি 168 GB HBM4 মেমোরি সহ, মূল পরিকল্পনার 128 GB GDDR7-এর চেয়ে উন্নত। এই GPU SKU একটি আলাদা র্যাকে থাকে যেখানে প্রতি র্যাকে 64 থেকে 256 টি স্ট্যান্ডআলোন CPX GPU কনফিগুরেশন থাকতে পারে। এই GPU টি prefill ওয়ার্কলোডের জন্য উৎসর্গকৃত, যা LLM এবং KV cache প্রসেসিং-এর জন্য ইনপুট কনটেক্সট পরিচালনা করে এমন র্যাকগুলোকে চালায়। NVIDIA prefill এবং decode কাজগুলো আলাদা করেছে, যেখানে CPX GPU গুলো prefill এবং নিয়মিত Rubin GPU গুলো decode পরিচালনা করে। আটটি CPX GPU সহ একটি র্যাক ট্রে 1.34 TB এর দীর্ঘ কনটেক্সট prefill এবং সংশ্লিষ্ট KV cache সামাল করতে পারে। পূর্বের ডিজাইনে HBM4 ইনTEGRেশনের প্রয়োজন ছিল না বলে, NVIDIA প্যাকেজিং-এর পুনর্নির্মাণ করেছে, সম্ভবত TSMC-এর Co Wo S-S অথবা Co Wo S-L ব্যবহার করে। চিপটি একটি মনোলিথিক ডাই-এ 30 Peta FLOPS-এর NVFP4 কম্পিউট পারফরম্যান্স প্রদান করে। এটি চারটি ইনTEGRেস্ট ন্যুভেস এবং চারটি ন্যুভেস ডিকোডার ভিডিও এনকোডার সরাসরি চিপে আছে। এখন ট্রিলিয়ন প্যারামিটার সম্পন্ন LLM গুলোর জন্য, prefill এর জন্য নির্দ্দিষ্ট র্যাক থাকা এবং অন্যান্য ডিকোডার পরিচালনা করলে টোকেন ডেলিভারি অনেক ত্বরান্বিত হয়। NVIDIA এটাও সুপারিশ করে যে ডিকোডার র্যাকে CPX এবং নিয়মিত GPU গুলোর মধ্যে 1:1 অনুপাত বজায় রাখা উচিত।