d-Matrix hoje anunciou d-Matrix Squadron, uma frota de sistemas de múltiples racks entregando megawatts de potência de inferência eficiente para modelos AI em escala de centro de dados. Construídos sobre a arquitetura centrada em memória da d-Matrix, os clusters Squadron servem a laboratórios AI, empresas e organizações soberanas executando aplicações sensíveis à latência como codagem, agentes pessoais, cibersegurança e negociação de alta frequência. Desenvolvidos com Arista, Broadcom e Supermicro, Squadron é implantado no centro de dados Arizona da d-Matrix e já está enviando para clientes prioritários. Os servidores Corsair e os Squad Racks também estão geralmente disponíveis.
"A jornada para habilitar os clientes com nossa vantagem de computação centrada em memória coincide com a evolução da d-Matrix de uma empresa de chips especializada para um negócio de infraestrutura de computação de centro de dados", disse Sid Sheth, Fundador e CEO da d-Matrix, que revelou Squadron no OCP Global Summit em San Jose. "Com Squadron enviando, e nossos servidores Corsair e Squad Racks agora geralmente disponíveis, a espera acabou."
Squadron escala até 16 Squad Racks — racks de oito servidores individuais — suportando até 1,024 d-Matrix Corsair XPU. Os clusters usam NICs Jet Stream e software Aviator, e são resfriados a ar padrão do setor, integrando-se em centros de dados existentes sem refrigeração líquida.
Durante seu keynote, Sheth revelou que a d-Matrix implementou com sucesso a Desagregação Attention-FFN (AFD) usando Squadron pareado com servidores GPU. Transferindo Experts/FFN para os racks Corsair resultou em 845 tokens por segundo por usuário, com 64 usuários simultâneos atingindo 20,415 tokens por segundo de throughput total.
Fonte: TechPowerUp News · Resumido por HeadlinesBriefing