La mayoría de los ejecutivos imaginan los costes de la IA como GPU y racks de aceleradores, y pasan por alto el almacenamiento de datos. Sin embargo, lo que ocurre con los datos después de que un modelo responde es un gasto de infraestructura importante y, a menudo, no planificado. Miles de millones de peticiones, imágenes y vídeos al día generan datos de backend que deben almacenarse, y el almacenamiento es uno de los costes más difíciles de prever.
El entrenamiento es finito: una ejecución empieza, consume cómputo y termina. La inferencia funciona de forma continua, y cada solicitud deja algo tras de sí. WD midió un vídeo de 8 segundos generado por IA que se entregó a los usuarios como un archivo de 3,97 MB en 720p, pero que dejó más de 500 MB de datos de backend asociados, incluidos registros, contexto en caché, renderizados, copias de seguridad y registros de seguridad. Eso supone un aumento de 130 veces respecto a la salida que vio el usuario, y clips más largos y de mayor resolución podrían elevar la huella a cientos de gigabytes.
El crecimiento es significativo. McKinsey proyecta que la demanda de inferencia de IA crecerá a una TCAC del 35 % hasta 2030, frente al 22 % del entrenamiento, y que representará más del 40 % de la demanda total de los centros de datos al final de la década. Una encuesta de IDC patrocinada por WD, con 763 responsables de decisiones de TI y negocio, reveló que casi el 95 % observó un aumento del volumen de datos por la IA generativa en el último año, y cerca del 61 % informó de un crecimiento del 25 % o más. Como señaló un gestor de producto de una nube hiperescala, la capacidad de almacenamiento ayuda a mantener ocupadas las GPU, ya que las GPU inactivas que esperan datos se vuelven caras muy rápido.
A diferencia del cómputo, los datos retenidos no disminuyen cuando la demanda se ralentiza. Los registros, las salidas sintéticas y los resultados de inferencia siguen acumulándose y, cada vez más, se reutilizan como entradas para futuras cargas de trabajo de IA, incluida la generación aumentada por recuperación. La misma encuesta reveló que el 96 % de los encuestados espera necesitar una recuperación de archivos más rápida. Para directores financieros y directores de sistemas, esto significa que los presupuestos de infraestructura de IA centrados solo en el cómputo pasan por alto un factor de coste importante, y el cuello de botella del almacenamiento permanece oculto hasta que aparece en los costes operativos.
Fuente: MIT Technology Review AI · Resumido por HeadlinesBriefing