A maioria dos executivos imagina os custos da IA como GPUs e racks de aceleradores, ignorando o armazenamento de dados. No entanto, o que acontece com os dados depois que um modelo responde é uma despesa de infraestrutura significativa e, muitas vezes, não planejada. Bilhões de prompts, imagens e vídeos diários geram dados de back-end que precisam ser armazenados, e o armazenamento está entre os custos mais difíceis de planejar.
O treinamento é finito: uma execução começa, consome computação e termina. A inferência funciona continuamente, e cada solicitação deixa algo para trás. A WD mediu um vídeo de 8 segundos gerado por IA que foi entregue aos usuários como um arquivo de 3,97 MB em 720p, mas deixou mais de 500 MB de dados de back-end associados, incluindo logs, contexto em cache, renderizações, backups e registros de segurança. Isso representa um aumento de 130 vezes em relação à saída que o usuário viu, e clipes mais longos e de maior resolução podem levar essa pegada a centenas de gigabytes.
O crescimento é significativo. A McKinsey projeta que a demanda por inferência de IA crescerá a uma TCAC de 35% até 2030, contra 22% do treinamento, representando mais de 40% da demanda total de data centers até o fim da década. Uma pesquisa da IDC patrocinada pela WD, com 763 tomadores de decisão de TI e de negócios, revelou que quase 95% perceberam aumento no volume de dados devido à IA generativa no último ano, e cerca de 61% relataram crescimento de 25% ou mais. Como resumiu um gerente de produto de uma nuvem hiperescala, a capacidade de armazenamento ajuda a manter as GPUs ocupadas, já que GPUs ociosas aguardando dados ficam caras rapidamente.
Diferentemente da computação, os dados retidos não diminuem quando a demanda desacelera. Logs, saídas sintéticas e resultados de inferência continuam se acumulando e, cada vez mais, são reutilizados como entradas para futuras cargas de trabalho de IA, incluindo a geração aumentada por recuperação. A mesma pesquisa constatou que 96% dos entrevistados esperam precisar de recuperação de arquivos mais rápida. Para CFOs e CIOs, isso significa que orçamentos de infraestrutura de IA limitados à computação deixam de lado um grande fator de custo, e o gargalo do armazenamento permanece oculto até aparecer nos custos operacionais.
Fonte: MIT Technology Review AI · Resumido por HeadlinesBriefing