Marvell Technology, Inc., лидер в области полупроводниковых решений для инфраструктуры данных, объявила о выпуске модулей расширения памяти CXL второго поколения Marvell Structera X 3406 и Structera X 3506. Эти продукты призваны помочь поставщикам облачной, корпоративной и ИИ-инфраструктуры создавать более эффективные, масштабируемые и производительные системы для следующей эры ИИ и вычислений.
Рабочие нагрузки ИИ и машинного обучения меняют архитектуру центров обработки данных. Рост размеров больших языковых моделей, расширение окон контекста и увеличение потребности в KV-кэше создают требования к памяти, с которыми традиционные серверные архитектуры справляются с трудом. Современные нагрузки инференса ИИ, от обслуживания LLM до моделей глубокого обучения для рекомендаций (DLRM), ограничены объемом памяти, а ёмкость KV-кэша напрямую определяет время до первого токена (TTFT), пропускную способность и загрузку XPU.
Structera X 3406/3506 вводят несколько решений, впервые появившихся в отрасли. Шестиканальное расширение памяти CXL обеспечивает на 50% больше каналов, чем предыдущее поколение, поддерживая до 9 ТБ памяти DDR4 в модели 3406 и до 6 ТБ памяти DDR5 в модели 3506. Подключение к хосту позволяет совместно использовать ёмкость памяти с до четырьмя хостами и обеспечивает пропускную способность PCIe 6.0 x16 до 256 ГБ/с. Пропускная способность сжатия LZ4 достигает в 5 раз больше, что открывает до 2-3 раз больше эффективной ёмкости памяти. Устройства также получили функции надёжности корпоративного уровня Struct Guard и постквантовую защиту.
Для нагрузок DLRM Structera X обеспечивает до 2 раз больше запросов в секунду. Для обслуживания LLM он даёт TTFT на 40-50% быстрее при эквивалентной длине контекста или поддерживает окна контекста до 2 раз длиннее при эквивалентной задержке. Опираясь на Structera X 2404/2504 первого поколения, новые продукты используют проверенный программный стек и интеграции с экосистемой, что ускоряет их внедрение.
Джим Хэнди, генеральный директор Objective Analysis, заявил, что CXL получает широкое распространение в системах ИИ благодаря высокой пропускной способности и поддержке больших объёмов памяти. Он отметил, что текущая нехватка памяти и высокие цены побуждают ИТ-менеджеров переставлять бывшие в употреблении модули DDR4 в системы DDR5, а функции сжатия будут становиться всё более ценными по мере расширения объединения памяти.
Источник: TechPowerUp News · Сводку подготовил HeadlinesBriefing