Marvell Technology, Inc., pemimpin dalam solusi semikonduktor infrastruktur data, mengumumkan memory expander CXL generasi kedua Marvell Structera X 3406 dan Structera X 3506. Produk ini dirancang untuk membantu penyedia infrastruktur cloud, perusahaan, dan AI membangun sistem yang lebih efisien, dapat diskalakan, dan berkinerja tinggi untuk era AI dan komputasi berikutnya.
Beban kerja AI dan ML sedang membentuk ulang desain pusat data. Ukuran LLM yang terus membesar, jendela konteks yang makin luas, dan meningkatnya kebutuhan KV-cache menciptakan permintaan memori yang sulit dipenuhi arsitektur server tradisional. Beban kerja inferensi AI modern, mulai dari penyajian LLM hingga model rekomendasi deep learning (DLRM), bersifat terikat memori, dan kapasitas KV-cache secara langsung menentukan waktu hingga token pertama (TTFT), throughput, serta pemanfaatan XPU.
Structera X 3406/3506 menghadirkan sejumlah fitur pertama di industri. Ekspansi memori CXL enam kanalnya menawarkan 50% lebih banyak kanal dibandingkan generasi sebelumnya, mendukung hingga 9 TB memori DDR4 pada 3406 dan 6 TB memori DDR5
Sumber: TechPowerUp News · Diringkas oleh HeadlinesBriefing