d-Matrix hari ini mengumumkan d-Matrix Squadron, armada sistem multi-rack yang menghasilkan megawatt daya komputasi inferensi AI efisien untuk model AI skala pusat data. Dibangun pada arsitektur berbasis memori d-Matrix, cluster Squadron melayani lab AI, perusahaan, dan organisasi sovereign yang menjalankan aplikasi sensitif latency seperti coding, personal agent, cybersecurity, dan high-frequency trading. Dikembangkan bersama Arista, Broadcom, dan Supermicro, Squadron dikerahkan di pusat data Arizona d-Matrix dan sekarang dikirim ke pelanggan prioritas. Server Corsair dan Squad Racks juga tersedia secara umum.
"Perjalanan untuk mengaktifkan pelanggan dengan keunggulan komputasi berbasis memori kami bersamaan dengan evolusi d-Matrix dari perusahaan chip khusus ke bisnis infrastruktur komputasi pusat data," kata Sid Sheth, Pendiri dan CEO d-Matrix, yang mengungkapkan Squadron di OCP Global Summit di San Jose. "Dengan Squadron dikirim, dan server Corsair serta Squad Racks sekarang tersedia secara umum, tunggu selesai."
Squadron skala hingga 16 Squad Racks – rack server tunggal delapan – mendukung hingga 1,024 d-Matrix Corsair XPU. Cluster menggunakan Jet Stream NICs dan software Aviator, dan didinginkan udara sesuai standar industri, terintegrasi ke pusat data existing tanpa pendingin cair.
Dalam keynotenya, Sheth mengungkapkan d-Matrix sukses mengimplementasikan Attention-FFN Disaggregation (AFD) menggunakan Squadron dipasangkan dengan server GPU. Offloading Experts/FFN ke rack Corsair menghasilkan 845 token per detik per pengguna, dengan 64 pengguna concurrent mencapai 20,415 token per detik total throughput.
Sumber: TechPowerUp News · Diringkas oleh HeadlinesBriefing