(PR) Marvell Unveils Second-generation Structera X, Industry-first Six-channel CXL 3.2 Memory Expanders for AI Inference

Marvell Technology, Inc., a leader in data infrastructure semiconductor solutions, has announced the second-generation Marvell Structera X 3406 and Structera X 3506 CXL memory expanders. The products are designed to help cloud, enterprise and AI infrastructure providers build more efficient, scalable and higher-performance systems for the next era of AI and computing.

AI and ML workloads are reshaping data center design. Growing LLM sizes, expanding context windows and rising KV-cache requirements are creating memory demands that traditional server architectures struggle to meet. Modern AI inference workloads, from LLM serving to deep learning recommendation models (DLRM), are memory bound, and KV-cache capacity directly determines time to first token (TTFT), throughput and XPU utilization.

The Structera X 3406/3506 introduces several industry-first features. Its six-channel CXL memory expansion offers 50% more channels than the previous generation, supporting up to 9 TB of DDR4 memory on the 3406 and 6 TB of DDR5 memory on the 3506. Host connectivity enables memory capacity sharing with up to four hosts and up to 256 GB/s of PCIe 6.0 x16 host bandwidth. LZ4 compression throughput is up to 5x higher, unlocking up to 2-3x more effective memory capacity. The devices also add Struct Guard enterprise-grade reliability features and post-quantum security.

For DLRM workloads, Structera X delivers up to 2x higher queries per second. For LLM serving, it provides up to 40-50% faster TTFT at equivalent context length, or up to 2x longer supportable context windows at equivalent latency. Building on the first-generation Structera X 2404/2504, the new products use the proven software stack and ecosystem integrations to support an accelerated ramp.

Jim Handy, general director of Objective Analysis, said CXL is gaining widespread adoption in AI systems because of its high bandwidth and support for large memory sizes. He noted that the current memory shortage and high prices are pushing IT managers to redeploy used DDR4 DIMMs into DDR5 systems, and that compression features will become increasingly valuable as memory pooling expands.

أعلنت شركة Marvell Technology, Inc.، الرائدة في حلول أشباه الموصلات للبنية التحتية للبيانات، عن موسعات الذاكرة من الجيل الثاني Marvell Structera X 3406 وStructera X 3506 من نوع CXL. صُممت هذه المنتجات لمساعدة مزودي البنية التحتية السحابية والمؤسسية والذكاء الاصطناعي على بناء أنظمة أكثر كفاءة وقابلية للتوسع وأداءً أعلى للعصر القادم من الذكاء الاصطناعي والحوسبة.

تعيد أحمال عمل الذكاء الاصطناعي وتعلم الآلة تشكيل تصميم مراكز البيانات. فنمو أحجام نماذج اللغة الكبيرة واتساع نوافذ السياق وارتفاع متطلبات ذاكرة KV-cache تخلق طلبات على الذاكرة تكافح البنى التقليدية للخوادم لتلبيتها. وأحمال استدلال الذكاء الاصطناعي الحديثة، من تقديم نماذج اللغة الكبيرة إلى نماذج التوصية بالتعلم العميق (DLRM)، مقيّدة بالذاكرة، وتحدد سعة KV-cache بشكل مباشر زمن الوصول إلى أول رمز (TTFT) والإنتاجية وكفاءة استخدام XPU.

تقدم Structera X 3406/3506 عدة ميزات رائدة في الصناعة. فتوسعة الذاكرة ذات القنوات الست من CXL توفر قنوات أكثر بنسبة 50% من الجيل السابق، وتدعم حتى 9 تيرابايت من ذاكرة DDR4 في الطراز 3406 و6 تيرابايت من ذاكرة DDR5 في الطراز 3506. تتيح الاتصالية بالمضيف مشاركة سعة الذاكرة مع ما يصل إلى أربعة مضيفين، وعرض نطاق PCIe 6.0 x16 للمضيف يصل إلى 256 غيغابايت/ثانية. كما تصل إنتاجية ضغط LZ4 إلى 5 أضعاف، مما يتيح ما يصل إلى 2-3 أضعاف من سعة الذاكرة الفعالة. وتضيف الأجهزة كذلك ميزات موثوقية بمستوى المؤسسات تُسمى Struct Guard، وأمانًا ما بعد الكم.

بالنسبة لأحمال DLRM، توفر Structera X ما يصل إلى ضعفين من الاستعلامات في الثانية. أما لتقديم نماذج اللغة الكبيرة، فإنها توفر زمن وصول إلى أول رمز أسرع بنسبة 40-50% عند طول سياق مماثل، أو نوافذ سياق أطول تصل إلى ضعفين عند زمن استجابة مماثل. وبالاعتماد على Structera X 2404/2504 من الجيل الأول، تستخدم المنتجات الجديدة حزمة البرمجيات المثبتة وتكاملات النظام البيئي لدعم تسريع الإطلاق.

قال Jim Handy، المدير العام في Objective Analysis، إن CXL يكتسب اعتمادًا واسعًا في أنظمة الذكاء الاصطناعي بفضل عرض نطاقه العالي ودعمه لأحجام ذاكرة كبيرة. وأشار إلى أن نقص الذاكرة الحالي والأسعار المرتفعة يدفعان مديري تقنية المعلومات إلى إعادة نشر وحدات DDR4 المستعملة في أنظمة DDR5، وأن ميزات الضغط ستصبح أكثر قيمة مع توسع تجميع الذاكرة.

Marvell Technology, Inc., ডেটা ইনফ্রাস্ট্রাকচার সেমিকন্ডাক্টর সমাধানের একটি শীর্ষস্থানীয় প্রতিষ্ঠান, দ্বিতীয় প্রজন্মের Marvell Structera X 3406 ও Structera X 3506 CXL মেমরি এক্সপেন্ডার ঘোষণা করেছে। এই পণ্যগুলো ক্লাউড, এন্টারপ্রাইজ ও AI অবকাঠামো প্রদানকারীদের AI ও কম্পিউটিংয়ের পরবর্তী যুগের জন্য আরও দক্ষ, স্কেলযোগ্য ও উচ্চ-কার্যক্ষমতাসম্পন্ন সিস্টেম তৈরিতে সহায়তা করার জন্য ডিজাইন করা হয়েছে।

AI ও ML ওয়ার্কলোড ডেটা সেন্টারের নকশা নতুনভাবে গড়ে তুলছে। ক্রমবর্ধমান LLM আকার, বিস্তৃত কনটেক্সট উইন্ডো এবং বাড়তে থাকা KV-ক্যাশের চাহিদা এমন মেমরির দাবি তৈরি করছে, যা ঐতিহ্যবাহী সার্ভার আর্কিটেকচার পূরণ করতে হিমশিম খাচ্ছে। LLM সার্ভিং থেকে ডিপ লার্নিং রেকমেন্ডেশন মডেল (DLRM) পর্যন্ত আধুনিক AI ইনফারেন্স ওয়ার্কলোড মেমরি-বাউন্ড, এবং KV-ক্যাশের ক্ষমতা সরাসরি টাইম টু ফার্স্ট টোকেন (TTFT), থ্রুপুট ও XPU ব্যবহার নির্ধারণ করে।

Structera X 3406/3506 বেশ কিছু শিল্প-প্রথম বৈশিষ্ট্য নিয়ে আসছে। এর ছয়-চ্যানেল CXL মেমরি সম্প্রসারণ আগের প্রজন্মের তুলনায় ৫০% বেশি চ্যানেল দেয়, 3406-এ ৯ TB পর্যন্ত DDR4 মেমরি এবং 3506-এ ৬ TB পর্যন্ত DDR5 মেমরি সমর্থন করে। হোস্ট কানেক্টিভিটি চারটি হোস্টের সঙ্গে মেমরি ক্ষমতা ভাগাভাগির সুযোগ দেয় এবং ২৫৬ GB/s পর্যন্ত PCIe 6.0 x16 হোস্ট ব্যান্ডউইথ প্রদান করে। LZ4 কমপ্রেশন থ্রুপুট ৫ গুণ পর্যন্ত বেশি, যা ২-৩ গুণ পর্যন্ত কার্যকর মেমরি ক্ষমতা উন্মুক্ত করে। ডিভাইসগুলোতে Struct Guard এন্টারপ্রাইজ-গ্রেড নির্ভরযোগ্যতা বৈশিষ্ট্য ও পোস্ট-কোয়ান্টাম নিরাপত্তাও যুক্ত হয়েছে।

DLRM ওয়ার্কলোডের ক্ষেত্রে, Structera X ২ গুণ পর্যন্ত বেশি প্রতি সেকেন্ডে কোয়েরি প্রদান করে। LLM সার্ভিংয়ের ক্ষেত্রে, সমমানের কনটেক্সট দৈর্ঘ্যে এটি TTFT ৪০-৫০% দ্রুত করে, অথবা সমমানের লেটেন্সিতে ২ গুণ পর্যন্ত দীর্ঘ সমর্থনযোগ্য কনটেক্সট উইন্ডো দেয়। প্রথম প্রজন্মের Structera X 2404/2504-এর ভিত্তিতে, নতুন পণ্যগুলো প্রমাণিত সফটওয়্যার স্ট্যাক ও ইকোসিস্টেম ইন্টিগ্রেশন ব্যবহার করে দ্রুত বাজারে আসার সুবিধা দেয়।

Objective Analysis-এর জেনারেল ডিরেক্টর Jim Handy বলেন, উচ্চ ব্যান্ডউইথ ও বড় মেমরি আকার সমর্থনের কারণে CXL AI সিস্টেমে ব্যাপকভাবে গৃহীত হচ্ছে। তিনি উল্লেখ করেন, বর্তমান মেমরি সংকট ও উচ্চ দামের কারণে IT ম্যানেজাররা ব্যবহৃত DDR4 DIMM পুনরায় DDR5 সিস্টেমে ব্যবহার করছেন, এবং মেমরি পুলিং বাড়ার সঙ্গে সঙ্গে কমপ্রেশন বৈশিষ্ট্য আরও মূল্যবান হয়ে উঠবে।

Marvell Technology, Inc., ein führender Anbieter von Halbleiterlösungen für Dateninfrastruktur, hat die CXL-Speichererweiterungen der zweiten Generation Marvell Structera X 3406 und Structera X 3506 angekündigt. Die Produkte sind darauf ausgelegt, Anbieter von Cloud-, Unternehmens- und KI-Infrastruktur dabei zu unterstützen, effizientere, skalierbarere und leistungsstärkere Systeme für die nächste Ära von KI und Computing aufzubauen.

KI- und ML-Workloads verändern das Design von Rechenzentren. Wachsende LLM-Größen, erweiterte Kontextfenster und steigende KV-Cache-Anforderungen erzeugen Speicherbedarfe, die herkömmliche Serverarchitekturen nur schwer bewältigen können. Moderne KI-Inferenz-Workloads, vom LLM-Serving bis zu Deep-Learning-Empfehlungsmodellen (DLRM), sind speichergebunden, und die KV-Cache-Kapazität bestimmt direkt die Zeit bis zum ersten Token (TTFT), den Durchsatz und die Auslastung der XPUs.

Die Structera X 3406/3506 bieten mehrere branchenweit erstmalige Funktionen. Die sechskanalige CXL-Speichererweiterung bietet 50 % mehr Kanäle als die Vorgängergeneration und unterstützt bis zu 9 TB DDR4-Speicher beim 3406 sowie 6 TB DDR5-Speicher beim 3506. Die Host-Anbindung ermöglicht die gemeinsame Nutzung der Speicherkapazität mit bis zu vier Hosts und bis zu 256 GB/s PCIe-6.0-x16-Host-Bandbreite. Der LZ4-Kompressionsdurchsatz ist bis zu 5-mal höher, wodurch sich die effektive Speicherkapazität um das 2- bis 3-Fache erhöhen lässt. Die Geräte bieten außerdem die Zuverlässigkeitsfunktionen der Enterprise-Klasse Struct Guard sowie post-quantensichere Sicherheit.

Bei DLRM-Workloads liefert die Structera X bis zu 2-mal höhere Abfragen pro Sekunde. Beim LLM-Serving sorgt sie für bis zu 40–50 % schnellere TTFT bei gleicher Kontextlänge oder für bis zu 2-mal längere unterstützte Kontextfenster bei gleicher Latenz. Aufbauend auf der Structera X 2404/2504 der ersten Generation nutzen die neuen Produkte den bewährten Software-Stack und die Ökosystem-Integrationen, um einen beschleunigten Markthochlauf zu ermöglichen.

Jim Handy, Generaldirektor bei Objective Analysis, erklärte, dass CXL dank seiner hohen Bandbreite und der Unterstützung großer Speicherkapazitäten in KI-Systemen zunehmend Verbreitung findet. Er wies darauf hin, dass der aktuelle Speichermangel und die hohen Preise IT-Verantwortliche dazu bewegen, gebrauchte DDR4-DIMMs in DDR5-Systemen weiterzuverwenden, und dass Kompressionsfunktionen mit dem Ausbau des Speicher-Poolings zunehmend an Wert gewinnen werden.

Marvell Technology, Inc., líder en soluciones semiconductoras para infraestructura de datos, anunció los expansores de memoria CXL Marvell Structera X 3406 y Structera X 3506 de segunda generación. Los productos están diseñados para ayudar a los proveedores de infraestructura en la nube, empresarial y de IA a construir sistemas más eficientes, escalables y de mayor rendimiento para la próxima era de la IA y la computación.

Las cargas de trabajo de IA y aprendizaje automático están transformando el diseño de los centros de datos. El crecimiento de los tamaños de los LLM, la ampliación de las ventanas de contexto y el aumento de los requisitos de caché KV generan demandas de memoria que las arquitecturas de servidores tradicionales tienen dificultades para satisfacer. Las cargas de inferencia de IA modernas, desde el servicio de LLM hasta los modelos de recomendación de aprendizaje profundo (DLRM), están limitadas por la memoria, y la capacidad de la caché KV determina directamente el tiempo hasta el primer token (TTFT), el rendimiento y la utilización de la XPU.

Structera X 3406/3506 introduce varias características pioneras en la industria. Su expansión de memoria CXL de seis canales ofrece un 50 % más de canales que la generación anterior, con soporte de hasta 9 TB de memoria DDR4 en el 3406 y 6 TB de memoria DDR5 en el 3506. La conectividad con el host permite compartir la capacidad de memoria con hasta cuatro hosts y hasta 256 GB/s de ancho de banda PCIe 6.0 x16 hacia el host. El rendimiento de compresión LZ4 es hasta 5 veces mayor, lo que desbloquea hasta 2-3 veces más capacidad de memoria efectiva. Los dispositivos también incorporan las funciones de fiabilidad de nivel empresarial Struct Guard y seguridad poscuántica.

Para las cargas DLRM, Structera X ofrece hasta 2 veces más consultas por segundo. Para el servicio de LLM, proporciona un TTFT hasta un 40-50 % más rápido con una longitud de contexto equivalente, o ventanas de contexto admisibles hasta 2 veces más largas con una latencia equivalente. Basándose en los Structera X 2404/2504 de primera generación, los nuevos productos utilizan la pila de software probada y las integraciones del ecosistema para facilitar una puesta en marcha acelerada.

Jim Handy, director general de Objective Analysis, afirmó que CXL está ganando una adopción generalizada en los sistemas de IA por su gran ancho de banda y su compatibilidad con tamaños de memoria elevados. Señaló que la escasez de memoria actual y los precios elevados están llevando a los gestores de TI a reutilizar módulos DDR4 usados en sistemas DDR5, y que las funciones de compresión serán cada vez más valiosas a medida que se expanda la agrupación de memoria.

Marvell Technology, Inc., leader des solutions de semi-conducteurs pour l'infrastructure de données, a annoncé les extenseurs de mémoire CXL de deuxième génération Marvell Structera X 3406 et Structera X 3506. Ces produits sont conçus pour aider les fournisseurs d'infrastructures cloud, d'entreprise et d'IA à construire des systèmes plus efficaces, évolutifs et performants pour la prochaine ère de l'IA et du calcul.

Les charges de travail d'IA et de ML transforment la conception des centres de données. La croissance de la taille des LLM, l'élargissement des fenêtres de contexte et l'augmentation des besoins en cache KV créent des exigences de mémoire que les architectures serveur traditionnelles peinent à satisfaire. Les charges de travail d'inférence IA modernes, du service de LLM aux modèles de recommandation par apprentissage profond (DLRM), sont limitées par la mémoire, et la capacité du cache KV détermine directement le temps jusqu'au premier jeton (TTFT), le débit et l'utilisation des XPU.

Les Structera X 3406/3506 introduisent plusieurs fonctionnalités inédites dans l'industrie. Leur extension de mémoire CXL à six canaux offre 50 % de canaux en plus que la génération précédente, avec une prise en charge allant jusqu'à 9 To de mémoire DDR4 sur le 3406 et 6 To de mémoire DDR5 sur le 3506. La connectivité hôte permet de partager la capacité mémoire avec jusqu'à quatre hôtes et offre jusqu'à 256 Go/s de bande passante PCIe 6.0 x16 vers l'hôte. Le débit de compression LZ4 est jusqu'à 5 fois supérieur, ce qui permet de gagner jusqu'à 2 à 3 fois plus de capacité mémoire effective. Les appareils intègrent également les fonctionnalités de fiabilité de niveau entreprise Struct Guard et une sécurité post-quantique.

Pour les charges DLRM, Structera X offre jusqu'à 2 fois plus de requêtes par seconde. Pour le service de LLM, il assure un TTFT jusqu'à 40 à 50 % plus rapide à longueur de contexte équivalente, ou des fenêtres de contexte prises en charge jusqu'à 2 fois plus longues à latence équivalente. S'appuyant sur les Structera X 2404/2504 de première génération, les nouveaux produits utilisent la pile logicielle éprouvée et les intégrations à l'écosystème pour accélérer leur déploiement.

Jim Handy, directeur général d'Objective Analysis, a déclaré que le CXL gagne une adoption généralisée dans les systèmes d'IA grâce à sa bande passante élevée et à la prise en charge de grandes capacités mémoire. Il a noté que la pénurie de mémoire actuelle et les prix élevés poussent les responsables informatiques à redéployer des barrettes DDR4 d'occasion dans des systèmes DDR5, et que les fonctionnalités de compression deviendront de plus en plus précieuses à mesure que la mise en commun de la mémoire se développera.

Marvell Technology, Inc., डेटा इंफ्रास्ट्रक्चर सेमीकंडक्टर समाधानों में अग्रणी कंपनी, ने दूसरी पीढ़ी के Marvell Structera X 3406 और Structera X 3506 CXL मेमोरी एक्सपैंडर की घोषणा की है। ये उत्पाद क्लाउड, एंटरप्राइज़ और AI इंफ्रास्ट्रक्चर प्रदाताओं को AI और कंप्यूटिंग के अगले युग के लिए अधिक कुशल, स्केलेबल और उच्च-प्रदर्शन वाले सिस्टम बनाने में मदद करने के लिए डिज़ाइन किए गए हैं।

AI और ML वर्कलोड डेटा सेंटर डिज़ाइन को नया रूप दे रहे हैं। बढ़ते LLM आकार, विस्तारित कॉन्टेक्स्ट विंडो और बढ़ती KV-कैश आवश्यकताएँ ऐसी मेमोरी माँगें पैदा कर रही हैं जिन्हें पारंपरिक सर्वर आर्किटेक्चर पूरा करने में संघर्ष करते हैं। LLM सर्विंग से लेकर डीप लर्निंग रिकमेंडेशन मॉडल (DLRM) तक, आधुनिक AI इनफ़रेंस वर्कलोड मेमोरी-बाउंड हैं, और KV-कैश क्षमता सीधे टाइम टू फ़र्स्ट टोकन (TTFT), थ्रूपुट और XPU उपयोग को निर्धारित करती है।

Structera X 3406/3506 में कई उद्योग-प्रथम विशेषताएँ हैं। इसका छह-चैनल CXL मेमोरी विस्तार पिछली पीढ़ी की तुलना में 50% अधिक चैनल देता है, 3406 पर 9 TB DDR4 मेमोरी और 3506 पर 6 TB DDR5 मेमोरी तक समर्थन करता है। होस्ट कनेक्टिविटी चार होस्ट तक मेमोरी क्षमता साझा करने और 256 GB/s तक PCIe 6.0 x16 होस्ट बैंडविड्थ की सुविधा देती है। LZ4 कंप्रेशन थ्रूपुट 5 गुना तक अधिक है, जिससे 2-3 गुना तक अधिक प्रभावी मेमोरी क्षमता मिलती है। इन उपकरणों में Struct Guard एंटरप्राइज़-ग्रेड विश्वसनीयता सुविधाएँ और पोस्ट-क्वांटम सुरक्षा भी जोड़ी गई है।

DLRM वर्कलोड के लिए, Structera X 2 गुना तक अधिक प्रति सेकंड क्वेरी प्रदान करता है। LLM सर्विंग के लिए, यह समान कॉन्टेक्स्ट लंबाई पर TTFT को 40-50% तक तेज़ करता है, या समान विलंबता पर 2 गुना तक लंबी समर्थित कॉन्टेक्स्ट विंडो देता है। पहली पीढ़ी के Structera X 2404/2504 पर आधारित, नए उत्पाद सिद्ध सॉफ़्टवेयर स्टैक और इकोसिस्टम एकीकरण का उपयोग करते हैं ताकि तेज़ रैंप-अप का समर्थन हो सके।

Objective Analysis के महाप्रबंधक Jim Handy ने कहा कि CXL अपने उच्च बैंडविड्थ और बड़े मेमोरी आकार के समर्थन के कारण AI सिस्टम में व्यापक रूप से अपनाया जा रहा है। उन्होंने कहा कि वर्तमान मेमोरी की कमी और ऊँची कीमतें IT प्रबंधकों को उपयोग की गई DDR4 DIMM को DDR5 सिस्टम में पुनः तैनात करने के लिए प्रेरित कर रही हैं, और मेमोरी पूलिंग बढ़ने के साथ कंप्रेशन सुविधाएँ और भी मूल्यवान होंगी।

Marvell Technology, Inc., pemimpin dalam solusi semikonduktor infrastruktur data, mengumumkan memory expander CXL generasi kedua Marvell Structera X 3406 dan Structera X 3506. Produk ini dirancang untuk membantu penyedia infrastruktur cloud, perusahaan, dan AI membangun sistem yang lebih efisien, dapat diskalakan, dan berkinerja tinggi untuk era AI dan komputasi berikutnya.

Beban kerja AI dan ML sedang membentuk ulang desain pusat data. Ukuran LLM yang terus membesar, jendela konteks yang makin luas, dan meningkatnya kebutuhan KV-cache menciptakan permintaan memori yang sulit dipenuhi arsitektur server tradisional. Beban kerja inferensi AI modern, mulai dari penyajian LLM hingga model rekomendasi deep learning (DLRM), bersifat terikat memori, dan kapasitas KV-cache secara langsung menentukan waktu hingga token pertama (TTFT), throughput, serta pemanfaatan XPU.

Structera X 3406/3506 menghadirkan sejumlah fitur pertama di industri. Ekspansi memori CXL enam kanalnya menawarkan 50% lebih banyak kanal dibandingkan generasi sebelumnya, mendukung hingga 9 TB memori DDR4 pada 3406 dan 6 TB memori DDR5

データインフラ向け半導体ソリューションのリーダーであるMarvell Technology, Inc.は、第2世代となるMarvell Structera X 3406およびStructera X 3506 CXLメモリエクスパンダーを発表しました。これらの製品は、クラウド、エンタープライズ、AIインフラのプロバイダーが、AIとコンピューティングの次の時代に向けて、より効率的で拡張性が高く、高性能なシステムを構築できるよう設計されています。

AIおよび機械学習のワークロードは、データセンターの設計を変えつつあります。LLMの大規模化、コンテキストウィンドウの拡大、KVキャッシュ要件の増大により、従来のサーバーアーキテクチャでは対応しきれないメモリ需要が生まれています。LLMの提供からディープラーニング推薦モデル(DLRM)に至るまで、現代のAI推論ワークロードはメモリに制約されており、KVキャッシュの容量が最初のトークンまでの時間(TTFT)、スループット、XPUの利用率を直接左右します。

Structera X 3406/3506は業界初の機能をいくつも備えています。6チャネルのCXLメモリ拡張は、前世代より50%多いチャネルを提供し、3406では最大9TBのDDR4メモリ、3506では最大6TBのDDR5メモリに対応します。ホスト接続により、最大4台のホスト間でメモリ容量を共有でき、PCIe 6.0 x16のホスト帯域幅は最大256GB/sです。LZ4圧縮のスループットは最大5倍に達し、実効メモリ容量を最大2~3倍に引き出します。また、エンタープライズグレードの信頼性機能であるStruct Guardと、耐量子暗号によるセキュリティも追加されています。

DLRMのワークロードでは、Structera Xは毎秒のクエリ処理数を最大2倍に高めます。LLMの提供では、同等のコンテキスト長でTTFTを40~50%短縮するか、同等のレイテンシで対応可能なコンテキストウィンドウを最大2倍に延ばします。第1世代のStructera X 2404/2504をもとに、新製品は実績のあるソフトウェアスタックとエコシステム統合を活用し、迅速な立ち上げを支援します。

Objective Analysisのジェネラルディレクターであるジム・ハンディ氏は、CXLが高い帯域幅と大容量メモリへの対応により、AIシステムで広く採用されつつあると述べました。同氏は、現在のメモリ不足と高騰する価格により、IT管理者が中古のDDR4 DIMMをDDR5システムに再配置しており、メモリプーリングの拡大に伴い圧縮機能の価値はさらに高まると指摘しています。

A Marvell Technology, Inc., líder em soluções de semicondutores para infraestrutura de dados, anunciou os expansores de memória CXL Marvell Structera X 3406 e Structera X 3506 de segunda geração. Os produtos foram projetados para ajudar provedores de infraestrutura em nuvem, empresarial e de IA a construir sistemas mais eficientes, escaláveis e de maior desempenho para a próxima era da IA e da computação.

As cargas de trabalho de IA e ML estão remodelando o design de data centers. O crescimento dos tamanhos de LLMs, a expansão das janelas de contexto e a crescente necessidade de cache KV criam demandas de memória que as arquiteturas tradicionais de servidores têm dificuldade em atender. As cargas de inferência de IA modernas, desde o serviço de LLMs até os modelos de recomendação de aprendizado profundo (DLRM), são limitadas pela memória, e a capacidade do cache KV determina diretamente o tempo até o primeiro token (TTFT), a taxa de transferência e a utilização das XPUs.

As Structera X 3406/3506 trazem diversos recursos inéditos no setor. Sua expansão de memória CXL de seis canais oferece 50% mais canais que a geração anterior, com suporte a até 9 TB de memória DDR4 no 3406 e 6 TB de memória DDR5 no 3506. A conectividade com hosts permite compartilhar capacidade de memória com até quatro hosts e oferece até 256 GB/s de largura de banda PCIe 6.0 x16 para o host. A taxa de compressão LZ4 é até 5 vezes maior, liberando até 2-3 vezes mais capacidade de memória efetiva. Os dispositivos também incorporam os recursos de confiabilidade de nível empresarial Struct Guard e segurança pós-quântica.

Para cargas DLRM, a Structera X oferece até 2 vezes mais consultas por segundo. Para o serviço de LLMs, proporciona TTFT até 40-50% mais rápido em comprimento de contexto equivalente, ou janelas de contexto suportadas até 2 vezes mais longas com latência equivalente. Baseados nas Structera X 2404/2504 de primeira geração, os novos produtos utilizam a pilha de software comprovada e as integrações de ecossistema para acelerar a adoção.

Jim Handy, diretor geral da Objective Analysis, afirmou que o CXL está ganhando adoção generalizada em sistemas de IA por causa de sua alta largura de banda e suporte a grandes capacidades de memória. Ele observou que a atual escassez de memória e os preços elevados estão levando gestores de TI a reaproveitar módulos DDR4 usados em sistemas DDR5, e que os recursos de compressão se tornarão cada vez mais valiosos à medida que o pooling de memória se expandir.

Marvell Technology, Inc., лидер в области полупроводниковых решений для инфраструктуры данных, объявила о выпуске модулей расширения памяти CXL второго поколения Marvell Structera X 3406 и Structera X 3506. Эти продукты призваны помочь поставщикам облачной, корпоративной и ИИ-инфраструктуры создавать более эффективные, масштабируемые и производительные системы для следующей эры ИИ и вычислений.

Рабочие нагрузки ИИ и машинного обучения меняют архитектуру центров обработки данных. Рост размеров больших языковых моделей, расширение окон контекста и увеличение потребности в KV-кэше создают требования к памяти, с которыми традиционные серверные архитектуры справляются с трудом. Современные нагрузки инференса ИИ, от обслуживания LLM до моделей глубокого обучения для рекомендаций (DLRM), ограничены объемом памяти, а ёмкость KV-кэша напрямую определяет время до первого токена (TTFT), пропускную способность и загрузку XPU.

Structera X 3406/3506 вводят несколько решений, впервые появившихся в отрасли. Шестиканальное расширение памяти CXL обеспечивает на 50% больше каналов, чем предыдущее поколение, поддерживая до 9 ТБ памяти DDR4 в модели 3406 и до 6 ТБ памяти DDR5 в модели 3506. Подключение к хосту позволяет совместно использовать ёмкость памяти с до четырьмя хостами и обеспечивает пропускную способность PCIe 6.0 x16 до 256 ГБ/с. Пропускная способность сжатия LZ4 достигает в 5 раз больше, что открывает до 2-3 раз больше эффективной ёмкости памяти. Устройства также получили функции надёжности корпоративного уровня Struct Guard и постквантовую защиту.

Для нагрузок DLRM Structera X обеспечивает до 2 раз больше запросов в секунду. Для обслуживания LLM он даёт TTFT на 40-50% быстрее при эквивалентной длине контекста или поддерживает окна контекста до 2 раз длиннее при эквивалентной задержке. Опираясь на Structera X 2404/2504 первого поколения, новые продукты используют проверенный программный стек и интеграции с экосистемой, что ускоряет их внедрение.

Джим Хэнди, генеральный директор Objective Analysis, заявил, что CXL получает широкое распространение в системах ИИ благодаря высокой пропускной способности и поддержке больших объёмов памяти. Он отметил, что текущая нехватка памяти и высокие цены побуждают ИТ-менеджеров переставлять бывшие в употреблении модули DDR4 в системы DDR5, а функции сжатия будут становиться всё более ценными по мере расширения объединения памяти.

Marvell Technology, Inc.是数据基础设施半导体解决方案的领导者,宣布推出第二代Marvell Structera X 3406和Structera X 3506 CXL内存扩展器。这些产品旨在帮助云、企业和AI基础设施提供商构建更高效、可扩展且性能更强的系统,迎接AI与计算的新时代。

AI和机器学习工作负载正在重塑数据中心设计。不断增长的大语言模型规模、不断扩大的上下文窗口以及日益增长的KV缓存需求,带来了传统服务器架构难以满足的内存需求。从LLM服务到深度学习推荐模型(DLRM)的现代AI推理工作负载都受内存限制,KV缓存容量直接决定首词元时间(TTFT)、吞吐量和XPU利用率。

Structera X 3406/3506引入了多项行业首创功能。其六通道CXL内存扩展提供比上一代多50%的通道,3406最多支持9 TB DDR4内存,3506最多支持6 TB DDR5内存。主机连接支持与最多四台主机共享内存容量,并提供最高256 GB/s的PCIe 6.0 x16主机带宽。LZ4压缩吞吐量最高提升5倍,可释放最多2-3倍的有效内存容量。这些设备还新增了Struct Guard企业级可靠性功能和后量子安全能力。

对于DLRM工作负载,Structera X的每秒查询数最高提升2倍。对于LLM服务,在相同上下文长度下,其TTFT最多快40-50%;或在相同延迟下,可支持最多2倍的上下文窗口。在第一代Structera X 2404/2504的基础上,新产品沿用经过验证的软件栈和生态集成,以支持加速量产。

Objective Analysis总经理Jim Handy表示,由于CXL具备高带宽和对大内存容量的支持,它正在AI系统中获得广泛采用。他指出,当前的内存短缺和高昂价格促使IT管理人员将二手DDR4内存条重新部署到DDR5系统中,并且随着内存池化的扩大,压缩功能将变得越来越有价值。