Marvell Technology, Inc., líder en soluciones semiconductoras para infraestructura de datos, anunció los expansores de memoria CXL Marvell Structera X 3406 y Structera X 3506 de segunda generación. Los productos están diseñados para ayudar a los proveedores de infraestructura en la nube, empresarial y de IA a construir sistemas más eficientes, escalables y de mayor rendimiento para la próxima era de la IA y la computación.
Las cargas de trabajo de IA y aprendizaje automático están transformando el diseño de los centros de datos. El crecimiento de los tamaños de los LLM, la ampliación de las ventanas de contexto y el aumento de los requisitos de caché KV generan demandas de memoria que las arquitecturas de servidores tradicionales tienen dificultades para satisfacer. Las cargas de inferencia de IA modernas, desde el servicio de LLM hasta los modelos de recomendación de aprendizaje profundo (DLRM), están limitadas por la memoria, y la capacidad de la caché KV determina directamente el tiempo hasta el primer token (TTFT), el rendimiento y la utilización de la XPU.
Structera X 3406/3506 introduce varias características pioneras en la industria. Su expansión de memoria CXL de seis canales ofrece un 50 % más de canales que la generación anterior, con soporte de hasta 9 TB de memoria DDR4 en el 3406 y 6 TB de memoria DDR5 en el 3506. La conectividad con el host permite compartir la capacidad de memoria con hasta cuatro hosts y hasta 256 GB/s de ancho de banda PCIe 6.0 x16 hacia el host. El rendimiento de compresión LZ4 es hasta 5 veces mayor, lo que desbloquea hasta 2-3 veces más capacidad de memoria efectiva. Los dispositivos también incorporan las funciones de fiabilidad de nivel empresarial Struct Guard y seguridad poscuántica.
Para las cargas DLRM, Structera X ofrece hasta 2 veces más consultas por segundo. Para el servicio de LLM, proporciona un TTFT hasta un 40-50 % más rápido con una longitud de contexto equivalente, o ventanas de contexto admisibles hasta 2 veces más largas con una latencia equivalente. Basándose en los Structera X 2404/2504 de primera generación, los nuevos productos utilizan la pila de software probada y las integraciones del ecosistema para facilitar una puesta en marcha acelerada.
Jim Handy, director general de Objective Analysis, afirmó que CXL está ganando una adopción generalizada en los sistemas de IA por su gran ancho de banda y su compatibilidad con tamaños de memoria elevados. Señaló que la escasez de memoria actual y los precios elevados están llevando a los gestores de TI a reutilizar módulos DDR4 usados en sistemas DDR5, y que las funciones de compresión serán cada vez más valiosas a medida que se expanda la agrupación de memoria.
Fuente: TechPowerUp News · Resumido por HeadlinesBriefing