d-Matrix a annoncé aujourd'hui d-Matrix Squadron, une flotte de systèmes multi-racks livrant des mégawatts de calcul d'inférence efficace pour les modèles AI à l'échelle du centre de données. Construits sur l'architecture centrée sur la mémoire de d-Matrix, les clusters Squadron servent aux laboratoires AI, entreprises et organisations souveraines exécutant des applications sensibles à la latence comme le codage, les agents personnels, la cybersécurité et la trading à haute fréquence. Développés avec Arista, Broadcom et Supermicro, Squadron est déployé dans le centre de données Arizona de d-Matrix et expédie désormais aux clients prioritaires. Les serveurs Corsair et les Squad Racks sont également disponibles de manière générale.
« Le voyage pour enabled nos clients avec notre avantage de calcul centré sur la mémoire coïncide avec l'évolution de d-Matrix d'une entreprise de puces spécialisée vers un business d'infrastructure de calcul de centre de données », a déclaré Sid Sheth, Fondateur et PDG de d-Matrix, qui a dévoilé Squadron au OCP Global Summit à San Jose. « Avec Squadron shipping, et nos serveurs Corsair et Squad Racks maintenant généralement disponibles, l'attente est terminée. »
Squadron scale jusqu'à 16 Squad Racks — single eight-server racks — supportant jusqu'à 1,024 d-Matrix Corsair XPU. Les clusters utilisent Jet Stream NICs et logiciel Aviator, et sont refroidis par air selon les standards du secteur, s'intégrant dans les centres de données existants sans refroidissement liquide.
Lors de son keynote, Sheth a révélé que d-Matrix a implementé avec succès l'Attention-FFN Disaggregation (AFD) utilisant Squadron paired avec des serveurs GPU. Le transfert des Experts/FFN vers les racks Corsair a yield 845 tokens par seconde par utilisateur, avec 64 utilisateurs simultanés atteignant 20,415 tokens par seconde débit total.
Source: TechPowerUp News · Résumé par HeadlinesBriefing