Marvell Technology, Inc., leader des solutions de semi-conducteurs pour l'infrastructure de données, a annoncé les extenseurs de mémoire CXL de deuxième génération Marvell Structera X 3406 et Structera X 3506. Ces produits sont conçus pour aider les fournisseurs d'infrastructures cloud, d'entreprise et d'IA à construire des systèmes plus efficaces, évolutifs et performants pour la prochaine ère de l'IA et du calcul.
Les charges de travail d'IA et de ML transforment la conception des centres de données. La croissance de la taille des LLM, l'élargissement des fenêtres de contexte et l'augmentation des besoins en cache KV créent des exigences de mémoire que les architectures serveur traditionnelles peinent à satisfaire. Les charges de travail d'inférence IA modernes, du service de LLM aux modèles de recommandation par apprentissage profond (DLRM), sont limitées par la mémoire, et la capacité du cache KV détermine directement le temps jusqu'au premier jeton (TTFT), le débit et l'utilisation des XPU.
Les Structera X 3406/3506 introduisent plusieurs fonctionnalités inédites dans l'industrie. Leur extension de mémoire CXL à six canaux offre 50 % de canaux en plus que la génération précédente, avec une prise en charge allant jusqu'à 9 To de mémoire DDR4 sur le 3406 et 6 To de mémoire DDR5 sur le 3506. La connectivité hôte permet de partager la capacité mémoire avec jusqu'à quatre hôtes et offre jusqu'à 256 Go/s de bande passante PCIe 6.0 x16 vers l'hôte. Le débit de compression LZ4 est jusqu'à 5 fois supérieur, ce qui permet de gagner jusqu'à 2 à 3 fois plus de capacité mémoire effective. Les appareils intègrent également les fonctionnalités de fiabilité de niveau entreprise Struct Guard et une sécurité post-quantique.
Pour les charges DLRM, Structera X offre jusqu'à 2 fois plus de requêtes par seconde. Pour le service de LLM, il assure un TTFT jusqu'à 40 à 50 % plus rapide à longueur de contexte équivalente, ou des fenêtres de contexte prises en charge jusqu'à 2 fois plus longues à latence équivalente. S'appuyant sur les Structera X 2404/2504 de première génération, les nouveaux produits utilisent la pile logicielle éprouvée et les intégrations à l'écosystème pour accélérer leur déploiement.
Jim Handy, directeur général d'Objective Analysis, a déclaré que le CXL gagne une adoption généralisée dans les systèmes d'IA grâce à sa bande passante élevée et à la prise en charge de grandes capacités mémoire. Il a noté que la pénurie de mémoire actuelle et les prix élevés poussent les responsables informatiques à redéployer des barrettes DDR4 d'occasion dans des systèmes DDR5, et que les fonctionnalités de compression deviendront de plus en plus précieuses à mesure que la mise en commun de la mémoire se développera.
Source: TechPowerUp News · Résumé par HeadlinesBriefing