ज़्यादातर कार्यकारी AI लागत को GPU और एक्सेलेरेटर रैक के रूप में देखते हैं, और डेटा स्टोरेज को नज़रअंदाज़ कर देते हैं। फिर भी, किसी मॉडल के जवाब देने के बाद डेटा का क्या होता है, वह एक महत्वपूर्ण और अक्सर अनियोजित बुनियादी ढांचा खर्च है। रोज़ अरबों प्रॉम्प्ट, इमेज और वीडियो बैकएंड डेटा तैयार करते हैं जिसे स्टोर करना पड़ता है, और स्टोरेज उन लागतों में से है जिनकी योजना बनाना सबसे कठिन है।
ट्रेनिंग सीमित होती है: एक रन शुरू होता है, कंप्यूट खर्च करता है, और समाप्त हो जाता है। इन्फेरेंस लगातार चलता है, और हर अनुरोध कुछ न कुछ पीछे छोड़ जाता है। WD ने मापा कि 8 सेकंड का एक AI-जनित वीडियो उपयोगकर्ताओं को 3.97MB की 720p फ़ाइल के रूप में लौटाया गया, लेकिन उसके साथ जुड़ा 500MB से अधिक बैकएंड डेटा बचा रहा, जिसमें लॉग, कैश्ड कॉन्टेक्स्ट, रेंडर, बैकअप और सुरक्षा रिकॉर्ड शामिल थे। यह उपयोगकर्ता द्वारा देखे गए आउटपुट से 130 गुना अधिक है, और लंबे, उच्च-रिज़ॉल्यूशन क्लिप इस फुटप्रिंट को सैकड़ों गीगाबाइट तक ले जा सकते हैं।
वृद्धि काफ़ी बड़ी है। McKinsey का अनुमान है कि AI इन्फेरेंस की मांग 2030 तक 35% CAGR से बढ़ेगी, जबकि ट्रेनिंग के लिए यह 22% है, और दशक के अंत तक यह डेटा सेंटर की कुल मांग के 40% से अधिक हो जाएगी। WD-प्रायोजित IDC सर्वेक्षण में 763 IT और व्यावसायिक निर्णयकर्ताओं ने भाग लिया, और लगभग 95% ने पिछले एक साल में जेनरेटिव AI के कारण डेटा मात्रा बढ़ती देखी, जबकि लगभग 61% ने 25% या अधिक वृद्धि की सूचना दी। जैसा कि एक हाइपरस्केल क्लाउड प्रोडक्ट मैनेजर ने कहा, स्टोरेज क्षमता GPU को व्यस्त रखने में मदद करती है, क्योंकि डेटा का इंतज़ार करते निष्क्रिय GPU बहुत जल्दी महंगे हो जाते हैं।
कंप्यूट के विपरीत, मांग धीमी होने पर संरक्षित डेटा कम नहीं होता। लॉग, सिंथेटिक आउटपुट और इन्फेरेंस परिणाम लगातार जमा होते रहते हैं, और अधिकाधिक रूप से भविष्य के AI वर्कलोड के इनपुट के रूप में दोबारा उपयोग किए जाते हैं, जिनमें रिट्रीवल-ऑगमेंटेड जेनरेशन भी शामिल है। उसी सर्वेक्षण में पाया गया कि 96% उत्तरदाता तेज़ आर्काइव रिट्रीवल की ज़रूरत की उम्मीद करते हैं। CFO और CIO के लिए इसका अर्थ है कि केवल कंप्यूट के आधार पर तय AI इन्फ्रास्ट्रक्चर बजट एक प्रमुख लागत कारक को छोड़ देते हैं, और स्टोरेज की बाधा तब तक छिपी रहती है जब तक वह परिचालन लागत में दिखाई नहीं देती।
स्रोत: MIT Technology Review AI · HeadlinesBriefing द्वारा सारांशित