d-Matrix hat heute d-Matrix Squadron angekündigt, eine Flotte von Multi-Rack-Systemen, die Megawatt an effizienter AI-Inference-Compute-Leistung für AI-Modelle im Rechenzentrum-Größe liefern. Auf der speicherzentrierten Architektur von d-Matrix gebaut, dienen Squadron-Cluster AI-Labs, Unternehmen und souveränen Organisationen, die latenzsensitive Anwendungen wie Codierung, persönliche Agenten, Cybersicherheit und Hochfrequenz-Handel betreiben. Entwickelt mit Arista, Broadcom und Supermicro, wird Squadron im Arizona-Datenzentrum von d-Matrix eingesetzt und jetzt an Priority-Kunden versandt. Die Corsair-Server und Squad-Racks sind auch allgemein verfügbar.
„Die Reise, unsere Kunden mit unserem speicherzentrierten Compute-Vorteil auszustatten, fällt zusammen mit der Evolution von d-Matrix von einem spezialisierten Chip-Unternehmen zu einem Rechenzentrum-Infrastruktur-Geschäft“, said Sid Sheth, Founder und CEO von d-Matrix, der Squadron auf dem OCP Global Summit in San Jose vorstellte. „Mit dem Versand von Squadron und unsere Corsair-Server und Squad-Racks jetzt allgemein verfügbar, ist die Wartezeit vorbei.“
Squadron skaliert bis zu 16 Squad-Racks – einzelne Acht-Server-Racks – und unterstützt bis zu 1,024 d-Matrix Corsair XPU. Cluster nutzen Jet Stream NICs und Aviator-Software und sind luftgekühlt nach Industriestandard, integrieren sich in bestehende Rechenzentren ohne Flüssigkeitskühlsystem.
Während seines Keynote-Speech, Sheth enthüllte, dass d-Matrix die Attention-FFN Disaggregation (AFD) erfolgreich mit Squadron und GPU-Servern implementiert hat. Auslastung von Experts/FFN auf Corsair-Racks führte zu 845 Tokens pro Sekunde pro Nutzer, mit 64 gleichzeitigen Nutzern, die 20,415 Tokens pro Sekunde Durchsatz insgesamt erreichten.
Quelle: TechPowerUp News · Zusammengefasst von HeadlinesBriefing