La plupart des dirigeants se représentent les coûts de l'IA sous forme de GPU et de baies d'accélérateurs, en oubliant le stockage des données. Pourtant, ce qu'il advient des données après la réponse d'un modèle constitue une dépense d'infrastructure importante, et souvent non planifiée. Des milliards de requêtes, d'images et de vidéos quotidiennes génèrent des données de back-end qu'il faut stocker, et le stockage figure parmi les coûts les plus difficiles à anticiper.
L'entraînement est fini : une exécution démarre, consomme du calcul, puis se termine. L'inférence, elle, fonctionne en continu, et chaque requête laisse quelque chose derrière elle. WD a mesuré une vidéo de 8 secondes générée par IA, restituée aux utilisateurs sous forme de fichier 720p de 3,97 Mo, mais qui a laissé plus de 500 Mo de données de back-end associées, notamment des journaux, du contexte en cache, des rendus, des sauvegardes et des registres de sécurité. Cela représente une multiplication par 130 par rapport au résultat vu par l'utilisateur, et des clips plus longs ou en plus haute résolution pourraient porter cette empreinte à des centaines de gigaoctets.
La croissance est considérable. McKinsey prévoit que la demande d'inférence IA progressera à un TCAC de 35 % d'ici 2030, contre 22 % pour l'entraînement, pour représenter plus de 40 % de la demande totale des centres de données d'ici la fin de la décennie. Une enquête IDC commanditée par WD, menée auprès de 763 décideurs informatiques et métiers, a révélé que près de 95 % ont constaté une hausse du volume de données due à l'IA générative au cours de l'année écoulée, et qu'environ 61 % signalent une croissance d'au moins 25 %. Comme l'a résumé un responsable produit d'un fournisseur de cloud hyperscale, la capacité de stockage contribue à maintenir les GPU occupés, car des GPU inactifs en attente de données deviennent vite coûteux.
Contrairement au calcul, les données conservées ne diminuent pas lorsque la demande ralentit. Les journaux, les sorties synthétiques et les résultats d'inférence continuent de s'accumuler et sont de plus en plus réutilisés comme entrées de futures charges de travail IA, y compris la génération augmentée par récupération. La même enquête indique que 96 % des répondants prévoient de devoir accélérer la récupération des archives. Pour les DAF et les DSI, cela signifie que les budgets d'infrastructure IA limités au seul calcul passent à côté d'un facteur de coût majeur, et que le goulot d'étranglement du stockage reste caché jusqu'à apparaître dans les dépenses d'exploitation.
Source: MIT Technology Review AI · Résumé par HeadlinesBriefing