据报道，铠侬正在探索高耐久度NAND闪存模块，这些模块被放置在GPU附近，被称为“近GPU NAND”。这种架构旨在弥补GPU内存（如HBM）与传统存储池之间的差距，提供一种在密度和耐久性方面的中间地带。通过将数百吉字节的存储直接放置在GPU封装或PCB上，GPU可以访问具有改进的I/O速度、带宽和读取时间的快速缓冲层，相比于标准的TLC或QLC NAND。这一方法针对大规模LLM推理工作负载，可能会允许模型在GPU数量更少的系统上运行，通过额外的内存层来补偿。近GPU NAND将比HBM或DRAM便宜得多，并根据系统规范进行调整。铠侬并不是唯一一家；SK hynix和Sandisk已经标准化了高带宽闪存（HBF），以用更耐用的NAND扩展GPU HBM空间。所有公司都面临克服带宽和耐久性差距的挑战，以使其成为标准HBM内存的可行补充。