大多数高管把AI成本想象成GPU和加速器机架，却忽视了数据存储。然而，模型响应之后数据的去向，是一项重大且往往未被规划的基础设施开支。每天数十亿次的提示、图像和视频都会产生需要存储的后端数据，而存储是最难规划的成本之一。
训练是有限的：一次运行开始，消耗算力，然后结束。推理则持续运行，每个请求都会留下些什么。WD测量发现，一段8秒的AI生成视频以3.97MB的720p文件返回给用户，但留下的相关后端数据超过500MB，包括日志、缓存上下文、渲染文件、备份和安全记录。这比用户看到的输出高出130倍，而更长、更高分辨率的视频片段可能使占用空间达到数百GB。
增长十分显著。麦肯锡预测，到2030年，AI推理需求将以35%的复合年增长率增长，而训练仅为22%，到本十年末，推理将占数据中心总需求的40%以上。WD赞助的IDC调查了763名IT和业务决策者，发现近95%的人表示，过去一年生成式AI使数据量有所上升，约61%的人报告增长幅度达25%或以上。正如一位超大规模云服务产品经理所言，存储容量有助于让GPU保持忙碌，因为等待数据的闲置GPU成本会迅速攀升。
与算力不同，保留的数据不会因需求放缓而减少。日志、合成输出和推理结果持续累积，并且越来越多地被重新用作未来AI工作负载的输入，包括检索增强生成。同一调查发现，96%的受访者预计需要更快的归档检索。对首席财务官和首席信息官而言，这意味着仅围绕算力规划的AI基础设施预算忽略了一个主要成本驱动因素，而存储瓶颈会一直隐藏，直到它体现在运营成本中。
来源: MIT Technology Review AI · 由HeadlinesBriefing整理摘要