A Marvell Technology, Inc., líder em soluções de semicondutores para infraestrutura de dados, anunciou os expansores de memória CXL Marvell Structera X 3406 e Structera X 3506 de segunda geração. Os produtos foram projetados para ajudar provedores de infraestrutura em nuvem, empresarial e de IA a construir sistemas mais eficientes, escaláveis e de maior desempenho para a próxima era da IA e da computação.
As cargas de trabalho de IA e ML estão remodelando o design de data centers. O crescimento dos tamanhos de LLMs, a expansão das janelas de contexto e a crescente necessidade de cache KV criam demandas de memória que as arquiteturas tradicionais de servidores têm dificuldade em atender. As cargas de inferência de IA modernas, desde o serviço de LLMs até os modelos de recomendação de aprendizado profundo (DLRM), são limitadas pela memória, e a capacidade do cache KV determina diretamente o tempo até o primeiro token (TTFT), a taxa de transferência e a utilização das XPUs.
As Structera X 3406/3506 trazem diversos recursos inéditos no setor. Sua expansão de memória CXL de seis canais oferece 50% mais canais que a geração anterior, com suporte a até 9 TB de memória DDR4 no 3406 e 6 TB de memória DDR5 no 3506. A conectividade com hosts permite compartilhar capacidade de memória com até quatro hosts e oferece até 256 GB/s de largura de banda PCIe 6.0 x16 para o host. A taxa de compressão LZ4 é até 5 vezes maior, liberando até 2-3 vezes mais capacidade de memória efetiva. Os dispositivos também incorporam os recursos de confiabilidade de nível empresarial Struct Guard e segurança pós-quântica.
Para cargas DLRM, a Structera X oferece até 2 vezes mais consultas por segundo. Para o serviço de LLMs, proporciona TTFT até 40-50% mais rápido em comprimento de contexto equivalente, ou janelas de contexto suportadas até 2 vezes mais longas com latência equivalente. Baseados nas Structera X 2404/2504 de primeira geração, os novos produtos utilizam a pilha de software comprovada e as integrações de ecossistema para acelerar a adoção.
Jim Handy, diretor geral da Objective Analysis, afirmou que o CXL está ganhando adoção generalizada em sistemas de IA por causa de sua alta largura de banda e suporte a grandes capacidades de memória. Ele observou que a atual escassez de memória e os preços elevados estão levando gestores de TI a reaproveitar módulos DDR4 usados em sistemas DDR5, e que os recursos de compressão se tornarão cada vez mais valiosos à medida que o pooling de memória se expandir.
Fonte: TechPowerUp News · Resumido por HeadlinesBriefing