Большинство руководителей представляют себе затраты на ИИ как GPU и стойки с ускорителями и упускают из виду хранение данных. Однако то, что происходит с данными после ответа модели, — это существенный и часто незапланированный расход на инфраструктуру. Миллиарды запросов, изображений и видео ежедневно порождают серверные данные, которые необходимо хранить, и хранение относится к тем затратам, которые сложнее всего спланировать.
Обучение ограничено по времени: запуск начинается, потребляет вычислительные ресурсы и завершается. Инференс работает непрерывно, и каждый запрос что-то оставляет после себя. WD измерила 8-секундное видео, созданное ИИ, которое было передано пользователям как файл 720p размером 3,97 МБ, но за ним осталось более 500 МБ связанных серверных данных, включая журналы, кэшированный контекст, рендеры, резервные копии и записи о безопасности. Это в 130 раз больше результата, который видел пользователь, а более длинные и более качественные ролики могут увеличить этот объём до сотен гигабайт.
Рост значителен. McKinsey прогнозирует, что спрос на инференс ИИ будет расти со среднегодовым темпом 35% до 2030 года, против 22% для обучения, и к концу десятилетия составит более 40% общего спроса на дата-центры. Опрос IDC, проведённый при поддержке WD среди 763 руководителей, принимающих решения в области ИТ и бизнеса, показал, что почти 95% заметили рост объёма данных из-за генеративного ИИ за прошедший год, а около 61% сообщили о росте на 25% и более. Как сказал менеджер продукта одного из гиперскейл-облаков, ёмкость хранилищ помогает поддерживать GPU в загруженном состоянии, поскольку простаивающие GPU, ожидающие данных, очень быстро становятся дорогими.
В отличие от вычислений, сохранённые данные не уменьшаются, когда спрос замедляется. Журналы, синтетические результаты и итоги инференса продолжают накапливаться и всё чаще повторно используются как входные данные для будущих задач ИИ, включая генерацию с дополнением поиском. Тот же опрос показал, что 96% респондентов ожидают необходимости более быстрого извлечения из архивов. Для финансовых директоров и CIO это означает, что бюджеты на инфраструктуру ИИ, ограниченные только вычислениями, упускают значимый фактор затрат, а узкое место в хранении остаётся скрытым, пока не проявится в операционных расходах.
Источник: MIT Technology Review AI · Сводку подготовил HeadlinesBriefing