(PR) d-Matrix Announces Squadron Compute Clusters for AI Inference at Data Center Scale
🇬🇧 English
d-Matrix today announced d-Matrix Squadron, a fleet of multi-rack systems delivering megawatts of efficient inference compute for AI models at data center scale. Built on d-Matrix's memory-centric architecture, Squadron clusters serve AI labs, enterprises, and sovereign organizations running latency-sensitive applications like coding, personal agents, cybersecurity, and high-frequency trading. Developed with Arista, Broadcom, and Supermicro, Squadron is deployed in d-Matrix's Arizona data center and now shipping to priority customers. The Corsair servers and Squad Racks are also generally available.
"The journey to enable customers with our memory-centric compute advantage coincides with d-Matrix's evolution from a specialized chip company to a data center compute infrastructure business," said Sid Sheth, Founder and CEO of d-Matrix, who unveiled Squadron at the OCP Global Summit in San Jose. "With Squadron shipping, and our Corsair servers and Squad Racks now generally available, the wait is over."
Squadron scales up to 16 Squad Racks—single eight-server racks—supporting up to 1,024 d-Matrix Corsair XPUs. Clusters use Jet Stream NICs and Aviator software, and are air-cooled on industry standards, integrating into existing data centers without liquid cooling.
During his keynote, Sheth revealed d-Matrix successfully implemented Attention-FFN Disaggregation (AFD) using Squadron paired with GPU servers. Offloading Experts/FFN to Corsair racks yielded 845 tokens per second per user, with 64 concurrent users reaching 20,415 tokens per second total throughput.
🇸🇦 العربية
chùques d-Matrix Squadron للاستنتاج الحاسبي AI
أعلنت d-Matrix اليوم عن d-Matrix Squadron، أسطول من أنظمة متعددة الرفوف تقدّر ميغوات من الكفاءة للاستنتاج الحاسبي ل(answer) نماذج AI في حجم مراكز البيانات. بُنيتclusters Squadron على الهندسة المركزة على الذاكرة belonging لـ d-Matrix، وتُستخدم من قبل مختبرات AI، وال companies، والكيانات السيادية التي ت(run) تطبيقات حساسة لل延迟 مثل البرمجة، والوكيل الشخصي، والأمن السيبرالي، والتجارة عالية التردد. تم تطويرها بال_past_ مع Arista، و Broadcom، و Supermicro، ونُشرت Squadron في مركز البيانات Arizona لـ d-Matrix، و now تُshipment للعملاء الأولوية. وavailable servers Corsair والـ Squad Racks بشكل عام.
"رحلة تمكين العملاء بAdvantage الحاسوب المركز على الذاكرة ت coincide مع تطور d-Matrix من company تخصص الرقائق إلى business بيئة الحاسوب في مراكز البيانات،" قال Sid Sheth، المؤسس والCEO لـ d-Matrix، الذي كشف عن Squadron في القمة Global OCP في San Jose. "مع Squadron shipping، و servers Corsair والـ Squad Racks now generally available، الانتظار انتهى."
Squadron scales up to 16 Squad Racks—single eight-server racks—supporting up to 1,024 d-Matrix Corsair XPU. Clusters use Jet Stream NICs و software Aviator، و are air-cooled on industry standards، integrating into existing data centers without liquid cooling.
During his keynote، Sheth revealed d-Matrix implemented Attention-FFN Disaggregation (AFD) using Squadron paired with GPU servers. Offloading Experts/FFN to Corsair racks yielded 845 tokens per second per user، with 64 concurrent users reaching 20,415 tokens per second total throughput.
ما هو d-Matrix Squadron و ما الذي يقدمه؟
Squadron هو أسطول من أنظمة متعددة الرفوف تقدّر ميغوات من الكفاءة للاستنتاج الحاسبي AI في حجم مراكز البيانات، مبنية على الهندسة المركزة على الذاكرة لـ d-Matrix للتطبيقات الحساسة لل延迟.
🇧🇩 বাংলা
d-Matrix Squadron AI Inference Compute Clusters
d-Matrix আজ d-Matrix Squadron ঘোষণা করেছে, যা ডেটা সেন্টার স্কেলে AI মডেলের জন্য মেগাওয়াট করে দক্ষতা সম্পন্ন ইনফারেন্স কম্পিউট প্রদান করে। d-Matrix-এর মেমোরি-সেন্ট্রিক আর্কিটেকচার তৈরি Squadron ক্লাস্টারগুলো লেটেন্সি-সেন্সিটিভ অ্যাপ্লিকেশনগুলো যেমন কোডিং, পার্সোনাল এজেন্টস, সাইবারসিকিউরিটি এবং হাই-ফ্রিকোয়েন্সি ট্রেডিং চালানো AI ল্যাবস, এন্টারপ্রাইজ এবং সোভরেন অর্গানাইজেশনগুলোকে সেবা দেয়। Arista, Broadcom এবং Supermicro-র সাথে উন্নত, Squadron কে d-Matrix-এর আরিজোনা ডেটা সেন্টারে স্থাপন করা হয়েছে এবং এখন প্রাথমিক গ্রাহকদের জন্য শিপ করা হচ্ছে। Corsair সার্ভার এবং Squad Racks এখন সাধারণভাবে প্রযোজ্য।
"আমাদের মেমোরি-সেন্ট্রিক কম্পিউট সুবিধা দিয়ে গ্রাহকদের সক্ষম করার যাত্রা d-Matrix-এর একটি স্পেশালাইজড চিপ কোম্পানি থেকে একটি ডেটা সেন্টার কম্পিউট ইনফ্রাস্ট্রাকচার বিজনেসে রূপান্তরের সাথে সমকালিক," শেUTH বলেছেন, যিনি সান জোসে OCP গ্লোবাল সমিটে Squadron উন্মোচন করেছেন। "Squadron শিপ হওয়া এবং আমাদের Corsair সার্ভার এবং Squad Racks এখন সাধারণভাবে প্রযোজ্য হওয়ায়, অপেক্ষার শেষ হয়েছে।"
Squadron 16 পর্যন্ত Squad Racks — একটি আট-সার্ভার র্যাক — সমর্থন করে, যা 1,024 d-Matrix Corsair XPU পর্যন্ত সমর্থন করে। ক্লাস্টারগুলো Jet Stream NICs এবং Aviator সফটওয়ার ব্যবহার করে এবং ইন্ডাস্ট্রি স্ট্যান্ডার্ডে এয়ার-কুলড হয়, যাতে লিকুয়েড কুলিং ছাড়াই বিদ্যমান ডেটা সেন্টারগুলোতে ইন্টিগ্রেট করা যায়।
তার কীনোর্ডারে, শেUTH প্রকাশ করেছেন যে d-Matrix সফলভাবে Attention-FFN Disaggregation (AFD) প্রয়োগ করেছে Squadron পায়ের সাথে GPU সার্ভার জুড়ে। Corsair র্যাকগুলোতে Experts/FFN সরানোর ফলে প্রতি ইউজার 845 টোকেন প্রতি সেকেন্ড হয়েছে, যা 64 সমকালিক ইউজারদের মোট 20,415 টোকেন প্রতি সেকেন্ড থ্রুপুট প্রাপ্তি করেছে।
d-Matrix Squadron কী এবং সে কী প্রদান করে?
Squadron হলো একটি মাল্টি-র্যাক সিস্টেমের ফ্লীট যা ডেটা সেন্টার স্কেলে মেগাওয়াট করে দক্ষতা সম্পন্ন AI ইনফারেন্স কম্পিউট প্রদান করে, যা d-Matrix-এর মেমোরি-সেন্ট্রিক আর্কিটেকচার তৈরি এবং লেটেন্সি-সেন্সিটিভ অ্যাপ্লিকেশনগুলোর জন্য করা হয়েছে।
🇩🇪 Deutsch
d-Matrix Squadron AI-Inference-Compute-Cluster
d-Matrix hat heute d-Matrix Squadron angekündigt, eine Flotte von Multi-Rack-Systemen, die Megawatt an effizienter AI-Inference-Compute-Leistung für AI-Modelle im Rechenzentrum-Größe liefern. Auf der speicherzentrierten Architektur von d-Matrix gebaut, dienen Squadron-Cluster AI-Labs, Unternehmen und souveränen Organisationen, die latenzsensitive Anwendungen wie Codierung, persönliche Agenten, Cybersicherheit und Hochfrequenz-Handel betreiben. Entwickelt mit Arista, Broadcom und Supermicro, wird Squadron im Arizona-Datenzentrum von d-Matrix eingesetzt und jetzt an Priority-Kunden versandt. Die Corsair-Server und Squad-Racks sind auch allgemein verfügbar.
„Die Reise, unsere Kunden mit unserem speicherzentrierten Compute-Vorteil auszustatten, fällt zusammen mit der Evolution von d-Matrix von einem spezialisierten Chip-Unternehmen zu einem Rechenzentrum-Infrastruktur-Geschäft“, said Sid Sheth, Founder und CEO von d-Matrix, der Squadron auf dem OCP Global Summit in San Jose vorstellte. „Mit dem Versand von Squadron und unsere Corsair-Server und Squad-Racks jetzt allgemein verfügbar, ist die Wartezeit vorbei.“
Squadron skaliert bis zu 16 Squad-Racks – einzelne Acht-Server-Racks – und unterstützt bis zu 1,024 d-Matrix Corsair XPU. Cluster nutzen Jet Stream NICs und Aviator-Software und sind luftgekühlt nach Industriestandard, integrieren sich in bestehende Rechenzentren ohne Flüssigkeitskühlsystem.
Während seines Keynote-Speech, Sheth enthüllte, dass d-Matrix die Attention-FFN Disaggregation (AFD) erfolgreich mit Squadron und GPU-Servern implementiert hat. Auslastung von Experts/FFN auf Corsair-Racks führte zu 845 Tokens pro Sekunde pro Nutzer, mit 64 gleichzeitigen Nutzern, die 20,415 Tokens pro Sekunde Durchsatz insgesamt erreichten.
Was ist d-Matrix Squadron und was bietet es an?
Squadron ist eine Flotte von Multi-Rack-Systemen, die Megawatt an effizienter AI-Inference-Compute-Leistung für Rechenzentrum-Größe liefern, gebaut auf der speicherzentrierten Architektur von d-Matrix für latenzsensitive Anwendungen.
🇪🇸 Español
Clusters de Inferencia AI d-Matrix Squadron
d-Matrix anunció hoy d-Matrix Squadron, una flota de sistemas de múltiples racks que entregan megawatios de potencia de inferencia eficiente para modelos AI a escala de centro de datos. Construidos sobre la arquitectura centrada en memoria de d-Matrix, los clusters Squadron sirven a laboratorios AI, empresas y organizaciones soberanas que ejecutan aplicaciones sensibles a la latencia como codificación, agentes personales, ciberseguridad y trading de alta frecuencia. Desarrollados con Arista, Broadcom y Supermicro, Squadron se despliega en el centro de datos de Arizona de d-Matrix y ya está enviando a clientes prioritarios. Los servidores Corsair y los Squad Racks también están disponibles de forma general.
"El viaje para habilitar a nuestros clientes con nuestra ventaja de computación centrada en memoria coincide con la evolución de d-Matrix de una empresa de chips especializada a un negocio de infraestructura de computación de centro de datos", dijo Sid Sheth, Fundador y CEO de d-Matrix, quien presentó Squadron en el OCP Global Summit en San Jose. "Con Squadron enviando, y nuestros servidores Corsair y Squad Racks ahora disponibles de forma general, la espera ha terminado."
Squadron escala hasta 16 Squad Racks — racks de ocho servidores individuales — admitiendo hasta 1,024 d-Matrix Corsair XPU. Los clusters utilizan NIC Jet Stream y software Aviator, y son refrigerados por aire según estándares del industry, integrándose en centros de datos existentes sin necesidad de refrigeración líquida.
Durante su keynote, Sheth reveló que d-Matrix implementó con éxito la Desagregación Attention-FFN (AFD) usando Squadron emparejado con servidores GPU. La carga de trabajo de Experts/FFN a los racks Corsair resultó en 845 tokens por segundo por usuario, con 64 usuarios concurrentes alcanzando un rendimiento total de 20,415 tokens por segundo.
¿Qué es d-Matrix Squadron y qué ofrece?
Squadron es una flota de sistemas de múltiples racks que proporcionan megawatios de potencia de inferencia AI eficiente a escala de centro de datos, construida sobre la arquitectura centrada en memoria de d-Matrix para aplicaciones sensibles a la latencia.
🇫🇷 Français
Clusters de calcul d'inférence AI d-Matrix Squadron
d-Matrix a annoncé aujourd'hui d-Matrix Squadron, une flotte de systèmes multi-racks livrant des mégawatts de calcul d'inférence efficace pour les modèles AI à l'échelle du centre de données. Construits sur l'architecture centrée sur la mémoire de d-Matrix, les clusters Squadron servent aux laboratoires AI, entreprises et organisations souveraines exécutant des applications sensibles à la latence comme le codage, les agents personnels, la cybersécurité et la trading à haute fréquence. Développés avec Arista, Broadcom et Supermicro, Squadron est déployé dans le centre de données Arizona de d-Matrix et expédie désormais aux clients prioritaires. Les serveurs Corsair et les Squad Racks sont également disponibles de manière générale.
« Le voyage pour enabled nos clients avec notre avantage de calcul centré sur la mémoire coïncide avec l'évolution de d-Matrix d'une entreprise de puces spécialisée vers un business d'infrastructure de calcul de centre de données », a déclaré Sid Sheth, Fondateur et PDG de d-Matrix, qui a dévoilé Squadron au OCP Global Summit à San Jose. « Avec Squadron shipping, et nos serveurs Corsair et Squad Racks maintenant généralement disponibles, l'attente est terminée. »
Squadron scale jusqu'à 16 Squad Racks — single eight-server racks — supportant jusqu'à 1,024 d-Matrix Corsair XPU. Les clusters utilisent Jet Stream NICs et logiciel Aviator, et sont refroidis par air selon les standards du secteur, s'intégrant dans les centres de données existants sans refroidissement liquide.
Lors de son keynote, Sheth a révélé que d-Matrix a implementé avec succès l'Attention-FFN Disaggregation (AFD) utilisant Squadron paired avec des serveurs GPU. Le transfert des Experts/FFN vers les racks Corsair a yield 845 tokens par seconde par utilisateur, avec 64 utilisateurs simultanés atteignant 20,415 tokens par seconde débit total.
Qu'est-ce que d-Matrix Squadron et qu'est-ce qu'il offre ?
Squadron est une flotte de systèmes multi-racks fournissant des mégawatts de calcul d'inférence AI efficace à l'échelle du centre de données, construite sur l'architecture centrée sur la mémoire de d-Matrix pour les applications sensibles à la latence.
🇮🇳 हिन्दी
d-Matrix Squadron AI Inference Compute Clusters
d-Matrix ने आज d-Matrix Squadron की घोषणा की, जो मल्टी-रैक सिस्टम्स की एक फ्लीट है जो डेटा सेंटर स्केल पर AI मॉडल्स के लिए मेगावॉट्स की दक्षता वाली इन्फरेंस कंप्यूटिंग प्रदान करती है। d-Matrix की मेमोरी-सेंट्रिक आर्किटेक्चर पर बनी Squadron क्लस्टर्स, लैटेंसी-सेंसिटिव एप्लीकेशन्स जैसे कोडिंग, पर्सनल एजेंट्स, साइबरसिक्यूरिटी और हाई-फ्रिक्वेंसी ट्रेडिंग चलाने वाले AI लैब्स, एंटरप्राइज़ और सोवरेन ऑर्गेनाइज़ेशन्स की सेवा करती हैं। Arista, Broadcom और Supermicro के साथ विकसित, Squadron को d-Matrix के एरिजोना डेटा सेंटर में तैनात किया गया है और अब प्राथमिक ग्राहकों को शिप किया जा रहा है। Corsair सर्वर और Squad Racks भी सामान्य रूप से उपलब्ध हैं।
"ग्राहकों को हमारी मेमोरी-सेंट्रिक कंप्यूटिंग लाभ सक्षम करने की यात्रा, d-Matrix के एक विशेषायित चिप कंपनी से एक डेटा सेंटर कंप्यूटिंग इन्फ्रास्ट्रक्चर बिज़नेस में विकास के साथ समकालिक है," शेथ ने कहा, जिन्होंने सांजोस में OCP ग्लोबल समिट में Squadron का अनावरण किया। "Squadron शिप होने और हमारे Corsair सर्वर और Squad Racks अब सामान्य रूप से उपलब्ध होने के कारण, प्रतीक्षा समाप्त हो गई है।"
Squadron 16 Squad Racks — प्रत्येक आठ-सर्वर रैक्स — तक पहुंच सकती है, जो 1,024 d-Matrix Corsair XPU का समर्थन करती है। क्लस्टर्स Jet Stream NICs और Aviator सॉफ्टवेयर का उपयोग करते हैं, और उद्योग मानकों पर एयर-कूल्ड हैं, जिससे लिक्विड कूलिंग के बिना मौजूदा डेटा सेंटर्स में एकीकरण संभव है।
अपने कीनोर्डर में, शेथ ने प्रकट किया कि d-Matrix ने Squadron को GPU सर्वर्स के साथ जोड़कर Attention-FFN Disaggregation (AFD) को सफलतापूर्वक लागू किया। Experts/FFN को Corsair रैक्स पर हस्तांतरित करने से प्रति यूजर 845 टोकन प्रति सेकंड मिले, जबकि 64 समकालिक यूजर्स ने कुल 20,415 टोकन प्रति सेकंड की थ्रूपुट हासिल की।
d-Matrix Squadron क्या है और यह क्या प्रदान करती है?
Squadron एक मल्टी-रैक सिस्टम्स की फ्लीट है जो डेटा सेंटर स्केल पर मेगावॉट्स की दक्षता वाली इन्फरेंस कंप्यूटिंग प्रदान करती है, जो d-Matrix की मेमोरी-सेंट्रिक आर्किटेक्चर पर बनी है और लैटेंसी-सेंसिटिव एप्लीकेशन्स की सेवा करती है।
🇮🇩 Bahasa Indonesia
Cluster Komputasi Inferensi AI d-Matrix Squadron
d-Matrix hari ini mengumumkan d-Matrix Squadron, armada sistem multi-rack yang menghasilkan megawatt daya komputasi inferensi AI efisien untuk model AI skala pusat data. Dibangun pada arsitektur berbasis memori d-Matrix, cluster Squadron melayani lab AI, perusahaan, dan organisasi sovereign yang menjalankan aplikasi sensitif latency seperti coding, personal agent, cybersecurity, dan high-frequency trading. Dikembangkan bersama Arista, Broadcom, dan Supermicro, Squadron dikerahkan di pusat data Arizona d-Matrix dan sekarang dikirim ke pelanggan prioritas. Server Corsair dan Squad Racks juga tersedia secara umum.
"Perjalanan untuk mengaktifkan pelanggan dengan keunggulan komputasi berbasis memori kami bersamaan dengan evolusi d-Matrix dari perusahaan chip khusus ke bisnis infrastruktur komputasi pusat data," kata Sid Sheth, Pendiri dan CEO d-Matrix, yang mengungkapkan Squadron di OCP Global Summit di San Jose. "Dengan Squadron dikirim, dan server Corsair serta Squad Racks sekarang tersedia secara umum, tunggu selesai."
Squadron skala hingga 16 Squad Racks – rack server tunggal delapan – mendukung hingga 1,024 d-Matrix Corsair XPU. Cluster menggunakan Jet Stream NICs dan software Aviator, dan didinginkan udara sesuai standar industri, terintegrasi ke pusat data existing tanpa pendingin cair.
Dalam keynotenya, Sheth mengungkapkan d-Matrix sukses mengimplementasikan Attention-FFN Disaggregation (AFD) menggunakan Squadron dipasangkan dengan server GPU. Offloading Experts/FFN ke rack Corsair menghasilkan 845 token per detik per pengguna, dengan 64 pengguna concurrent mencapai 20,415 token per detik total throughput.
Apa itu d-Matrix Squadron dan apa yang ditawarkannya?
Squadron adalah armada sistem multi-rack yang menghasilkan megawatt daya komputasi inferensi AI efisien skala pusat data, dibangun pada arsitektur berbasis memori d-Matrix untuk aplikasi sensitif latency.
🇯🇵 日本語
d-Matrix Squadron AI 推論計算クラスター
d-Matrix は本日、データセンター規模で AI モデル用にメガワット級の効率的な推論計算を提供するマルチラックシステムのフリートである d-Matrix Squadron を発表しました。d-Matrix のメモリ中心アーキテクチャに基づいて構築された Squadron クラスターは、符号化、パーソナルエージェント、サイバーセキュリティ、高频取引などの遅延感応型アプリケーションを実行する AI 研究所、企業、主権機関に役立ちます。Arista、Broadcom、Supermicro と共同開発された Squadron は、d-Matrix のアリゾナデータセンターに展開され、優先顧客への出荷を開始しました。Corsair サーバーと Squad Racks も一般利用可能になりました。
「メモリ中心計算の優位性で顧客を可能にする旅は、d-Matrix が専用チップ会社からデータセンター計算インフラストラクチャ企業へと進化するのと同時です」と、Sid Sheth 氏は San Jose で開催された OCP Global Summit で Squadron を発表while说过。「Squadron の出荷と、Corsair サーバーと Squad Racks の一般提供開始により、待望の時が来ました。」
Squadron は最大 16 個の Squad Racks(それぞれ 8 台のサーバーラック)にスケールし、最大 1,024 個の d-Matrix Corsair XPU をサポートします。クラスターは Jet Stream NIC と Aviator ソフトウェアを使用し、業界標準の空冷で冷却され、液体冷却なしで既存のデータセンターに統合できます。
キーノートで、Sheth 氏は d-Matrix が Squadron と GPU サーバーを組み合わせて Attention-FFN Disaggregation (AFD) を成功させたことを明らかにしました。Experts/FFN を Corsair ラックにオフロード resulted in 845 tokens/秒/ユーザー、64 人の同時ユーザーが 20,415 tokens/秒 の全体スループットに達しました。
d-Matrix Squadron は何ですか、何を提供しますか?
Squadron は、メガワット級の効率的な AI 推論計算をデータセンター規模で提供するマルチラックシステムのフリートであり、d-Matrix のメモリ中心アーキテクチャに基づいて遅延感応型アプリケーション用に設計されています。
🇧🇷 Português
Clusters de Inferência AI d-Matrix Squadron
d-Matrix hoje anunciou d-Matrix Squadron, uma frota de sistemas de múltiples racks entregando megawatts de potência de inferência eficiente para modelos AI em escala de centro de dados. Construídos sobre a arquitetura centrada em memória da d-Matrix, os clusters Squadron servem a laboratórios AI, empresas e organizações soberanas executando aplicações sensíveis à latência como codagem, agentes pessoais, cibersegurança e negociação de alta frequência. Desenvolvidos com Arista, Broadcom e Supermicro, Squadron é implantado no centro de dados Arizona da d-Matrix e já está enviando para clientes prioritários. Os servidores Corsair e os Squad Racks também estão geralmente disponíveis.
"A jornada para habilitar os clientes com nossa vantagem de computação centrada em memória coincide com a evolução da d-Matrix de uma empresa de chips especializada para um negócio de infraestrutura de computação de centro de dados", disse Sid Sheth, Fundador e CEO da d-Matrix, que revelou Squadron no OCP Global Summit em San Jose. "Com Squadron enviando, e nossos servidores Corsair e Squad Racks agora geralmente disponíveis, a espera acabou."
Squadron escala até 16 Squad Racks — racks de oito servidores individuais — suportando até 1,024 d-Matrix Corsair XPU. Os clusters usam NICs Jet Stream e software Aviator, e são resfriados a ar padrão do setor, integrando-se em centros de dados existentes sem refrigeração líquida.
Durante seu keynote, Sheth revelou que a d-Matrix implementou com sucesso a Desagregação Attention-FFN (AFD) usando Squadron pareado com servidores GPU. Transferindo Experts/FFN para os racks Corsair resultou em 845 tokens por segundo por usuário, com 64 usuários simultâneos atingindo 20,415 tokens por segundo de throughput total.
O que é o d-Matrix Squadron e o que ele oferece?
Squadron é uma frota de sistemas de múltiples racks fornecendo megawatts de potência de inferência AI eficiente em escala de centro de dados, construída sobre a arquitetura centrada em memória da d-Matrix para aplicações sensíveis à latência.
🇷🇺 Русский
Кластеры d-Matrix Squadron для AI Inference
d-Matrix сегодня анонсировала d-Matrix Squadron — парк многорэковых систем, Delivering мегаватты эффективной вычислительной мощности для AI моделей в масштабе центра данных. Построенные на архитектуре d-Matrix, ориентированной на память, класты Squadron обслуживают AI-лаборатории, предприятия и суверенные организации, работающие с задержками чувствительные приложения, такие как кодирование, личные агенты, кибербезопасность и высокочастотная торговля. Разработано с Arista, Broadcom и Supermicro, Squadron развертывается в центре данных Arizona д-Matrix и уже отправляется приоритетным клиентам. Серверы Corsair и Squad Racks также доступны в общем доступе.
«Путь к обеспечению наших клиентов с нашим преимуществом вычислений, ориентированных на память, совпадает с эволюцией d-Matrix от специализированной чип-компании к бизнесу вычислительной инфраструктуры центра данных», сказал Sid Sheth, основатель и CEO d-Matrix, представив Squadron на OCP Global Summit в San Jose. «С Squadron, отправляющимся, и нашими серверами Corsair и Squad Racks, теперь доступными в общем доступе, ожидание закончилось.»
Squadron масштабируется до 16 Squad Racks — одиночных восьмисерверных стойок — поддерживают до 1,024 d-Matrix Corsair XPU. Класты используют NIC Jet Stream и программное обеспечение Aviator и охлаждаются по стандартам отрасли воздухом, интегрируясь в существующие центры данных без жидкостного охлаждения.
Во время своего ключевого выступления Шет раскрыл, что d-Matrix успешно реализовала Attention-FFN Disaggregation (AFD), используя Squadron в паре с GPU-серверами. Перегрузка Experts/FFN на стойки Corsair привела к 845 токенам в секунду на пользователя, с 64 одновременными пользователями, достигшими 20,415 токенов в секунду общего производительности.
Что такое d-Matrix Squadron и что он предлагает?
Squadron — это парк многорэковых систем, Delivering мегаватты эффективной вычислительной мощности для AI инференса в масштабе центра данных, построенный на архитектуре d-Matrix, ориентированной на память, для приложений с чувствительностью к задержкам.
🇨🇳 简体中文
d-Matrix Squadron AI 推理计算集群
d-Matrix 今日宣布推出 d-Matrix Squadron,这是一组多机架系统,可在数据中心规模为 AI 模型提供兆瓦级高效推理算力。Squadron 集群基于 d-Matrix 的内存中心架构构建,服务于运行编码、个人助手、网络安全和高频交易等延迟敏感型应用的 AI 实验室、企业和主权组织。该系统由 Arista、Broadcom 和 Supermicro 共同开发,现已部署在 d-Matrix 位于亚利桑那州的数据中心,并开始向优先客户发货。Corsair 服务器和 Squad Racks 也已全面上市。
“我们以内存中心计算优势赋能客户的旅程,与 d-Matrix 从专用芯片公司向数据中心计算基础设施企业的演进相辅相成,”d-Matrix 创始人兼首席执行官 Sid Sheth 在圣何塞 OCP 全球峰会上发布了 Squadron 时如此表示。“随着 Squadron 的发货,以及 Corsair 服务器和 Squad Racks 的全面上市,等待已经结束。”
Squadron 最多可扩展至 16 个 Squad Racks(每个为单机架八服务器),支持最多 1,024 个 d-Matrix Corsair XPU。集群使用 Jet Stream NIC 和 Aviator 软件,采用行业标准风冷设计,无需液冷即可集成到现有数据中心中。
在主题演讲中,Sheth 还展示了 d-Matrix 成功实现 Attention-FFN 解耦(AFD),将 Squadron 与 GPU 服务器配对。将 Experts/FFN 卸载至 Corsair 机架后,每个用户可实现 845 tokens/秒,64 个并发用户总计达到 20,415 tokens/秒 的吞吐量。
什么是 d-Matrix Squadron,它能提供什么?
Squadron 是一组多机架系统,可在数据中心规模提供兆瓦级高效 AI 推理算力,基于 d-Matrix 的内存中心架构构建,面向延迟敏感型应用。