Kebanyakan eksekutif membayangkan biaya AI sebagai GPU dan rak akselerator, dan mengabaikan penyimpanan data. Padahal, apa yang terjadi pada data setelah model merespons merupakan pengeluaran infrastruktur yang signifikan dan sering tidak direncanakan. Miliaran perintah, gambar, dan video setiap hari menghasilkan data back-end yang harus disimpan, dan penyimpanan termasuk biaya yang paling sulit direncanakan.
Pelatihan bersifat terbatas: sebuah proses dimulai, menggunakan komputasi, lalu berakhir. Inferensi berjalan terus-menerus, dan setiap permintaan meninggalkan sesuatu. WD mengukur video buatan AI berdurasi 8 detik yang dikirim kepada pengguna sebagai file 720p berukuran 3,97MB, tetapi meninggalkan lebih dari 500MB data back-end terkait, termasuk log, konteks yang di-cache, hasil render, cadangan, dan catatan keamanan. Angka ini 130 kali lipat dari keluaran yang dilihat pengguna, dan klip yang lebih panjang serta beresolusi lebih tinggi dapat membuat jejaknya mencapai ratusan gigabita.
Pertumbuhannya signifikan. McKinsey memproyeksikan permintaan inferensi AI akan tumbuh dengan CAGR 35% hingga 2030, dibandingkan 22% untuk pelatihan, dan mencakup lebih dari 40% total permintaan pusat data pada akhir dekade ini. Survei IDC yang disponsori WD terhadap 763 pengambil keputusan TI dan bisnis menemukan hampir 95% melihat volume data meningkat akibat AI generatif dalam setahun terakhir, dan sekitar 61% melaporkan pertumbuhan 25% atau lebih. Seperti yang dikatakan seorang manajer produk layanan cloud hyperscale, kapasitas penyimpanan membantu menjaga GPU tetap sibuk, karena GPU yang menganggur menunggu data dengan cepat menjadi mahal.
Berbeda dengan komputasi, data yang disimpan tidak berkurang ketika permintaan melambat. Log, keluaran sintetis, dan hasil inferensi terus menumpuk, dan semakin sering digunakan kembali sebagai masukan untuk beban kerja AI mendatang, termasuk retrieval-augmented generation. Survei yang sama menemukan 96% responden memperkirakan perlu pengambilan arsip yang lebih cepat. Bagi CFO dan CIO, ini berarti anggaran infrastruktur AI yang hanya berfokus pada komputasi mengabaikan pendorong biaya utama, dan hambatan penyimpanan tetap tersembunyi hingga muncul dalam biaya operasional.
Sumber: MIT Technology Review AI · Diringkas oleh HeadlinesBriefing