多くの経営幹部はAIのコストをGPUやアクセラレータのラックとして捉えがちで、データストレージを見落としています。しかし、モデルが応答した後のデータの行方は、大きく、しばしば計画されていないインフラ支出です。毎日数十億件のプロンプト、画像、動画が保存が必要なバックエンドデータを生み出しており、ストレージは最も計画しにくいコストの一つです。
トレーニングには終わりがあります。実行が始まり、計算資源を消費し、そして終わります。一方、推論は継続的に動作し、リクエストのたびに何かが残ります。WDの測定では、AIが生成した8秒の動画は、3.97MBの720pファイルとしてユーザーに返されましたが、ログ、キャッシュされたコンテキスト、レンダリング結果、バックアップ、安全性の記録などを含め、関連するバックエンドデータが500MBを超えて残りました。これはユーザーが目にした出力の130倍にあたり、より長く高解像度のクリップでは、そのフットプリントが数百ギガバイトに達する可能性もあります。
増加は顕著です。McKinseyは、AI推論の需要が2030年まで年平均成長率35%で伸びると予測しており、これはトレーニングの22%を上回ります。そして、この10年の終わりまでに、データセンター全体の需要の40%以上を占めるようになるとされています。WDの支援を受けたIDCの調査では、ITおよびビジネスの意思決定者763名のうち、ほぼ95%が過去1年間に生成AIによってデータ量が増加したと答え、約61%が25%以上の増加を報告しました。あるハイパースケールクラウドのプロダクトマネージャーが述べたように、データを待つアイドル状態のGPUはすぐにコストがかさむため、ストレージ容量はGPUを稼働させ続ける助けになります。
計算資源とは異なり、保持されたデータは需要が鈍化しても減りません。ログ、合成出力、推論結果は蓄積を続け、検索拡張生成を含む将来のAIワークロードの入力として再利用されることが増えています。同じ調査では、回答者の96%がアーカイブからの高速な取り出しが必要になると予想していることがわかりました。CFOやCIOにとって、これは計算資源だけを中心にAIインフラの予算を組むと、主要なコスト要因を見落とすことを意味し、ストレージのボトルネックは運用コストに現れるまで隠れたままになります。
出典: MIT Technology Review AI · 要約：HeadlinesBriefing