d-Matrix anunció hoy d-Matrix Squadron, una flota de sistemas de múltiples racks que entregan megawatios de potencia de inferencia eficiente para modelos AI a escala de centro de datos. Construidos sobre la arquitectura centrada en memoria de d-Matrix, los clusters Squadron sirven a laboratorios AI, empresas y organizaciones soberanas que ejecutan aplicaciones sensibles a la latencia como codificación, agentes personales, ciberseguridad y trading de alta frecuencia. Desarrollados con Arista, Broadcom y Supermicro, Squadron se despliega en el centro de datos de Arizona de d-Matrix y ya está enviando a clientes prioritarios. Los servidores Corsair y los Squad Racks también están disponibles de forma general.
"El viaje para habilitar a nuestros clientes con nuestra ventaja de computación centrada en memoria coincide con la evolución de d-Matrix de una empresa de chips especializada a un negocio de infraestructura de computación de centro de datos", dijo Sid Sheth, Fundador y CEO de d-Matrix, quien presentó Squadron en el OCP Global Summit en San Jose. "Con Squadron enviando, y nuestros servidores Corsair y Squad Racks ahora disponibles de forma general, la espera ha terminado."
Squadron escala hasta 16 Squad Racks — racks de ocho servidores individuales — admitiendo hasta 1,024 d-Matrix Corsair XPU. Los clusters utilizan NIC Jet Stream y software Aviator, y son refrigerados por aire según estándares del industry, integrándose en centros de datos existentes sin necesidad de refrigeración líquida.
Durante su keynote, Sheth reveló que d-Matrix implementó con éxito la Desagregación Attention-FFN (AFD) usando Squadron emparejado con servidores GPU. La carga de trabajo de Experts/FFN a los racks Corsair resultó en 845 tokens por segundo por usuario, con 64 usuarios concurrentes alcanzando un rendimiento total de 20,415 tokens por segundo.
Fuente: TechPowerUp News · Resumido por HeadlinesBriefing