Se informa que Micron está explorando módulos NAND Flash de alta resistencia colocados más cerca de la GPU, un concepto denominado "near-GPU NAND". Esta arquitectura busca cerrar la brecha entre la memoria GPU como HBM y las tradicionales agrupaciones de almacenamiento, ofreciendo un punto intermedio en densidad y durabilidad. Al colocar cientos de gigabytes de almacenamiento directamente en el paquete GPU o PCB, las GPU podrían acceder a una capa de búfer rápida con velocidades de E/S, ancho de banda y tiempos de lectura mejorados en comparación con NAND TLC o QLC estándar.

Este enfoque apunta a cargas de trabajo masivas de inferencia de LLM, permitiendo potencialmente que los modelos se ejecuten en sistemas con menos GPUs compensando con tieras de memoria adicionales. El near-GPU NAND sería significativamente más barato que HBM o DRAM y se dimensionaría según las especificaciones del sistema. Micron no está solo; SK hynix y Sandisk ya han estandarizado High-Bandwidth Flash (HBF) para extender el espacio HBM de la GPU con NAND más duradera.

Todas las empresas enfrentan el desafío de superar las brechas de ancho de banda y durabilidad para hacer esto un complemento viable a la memoria HBM estándar.