এন্টারপ্রাইজ AI-তে পরবর্তী প্রতিযোগিতামূলক সুবিধা নির্ভর করে আপনি কোন মডেল বেছে নিচ্ছেন তার উপর ততটা নয়, যতটা আপনি তার চারপাশে কী তৈরি করছেন তার উপর। AI যখন পরীক্ষামূলক পর্যায় থেকে উৎপাদনে যাচ্ছে, তখন মূল প্রশ্নটি "মডেলটি কী করতে পারে?" থেকে বদলে "আমরা কি এই বুদ্ধিমত্তা নির্ভরযোগ্যভাবে, সাশ্রয়ীভাবে এবং বড় পরিসরে দিতে পারি?" হয়ে দাঁড়িয়েছে। এর উত্তর ক্রমশ নির্ভর করছে সার্ভিং হার্নেস-এর উপর: মডেলের চারপাশের প্রকৌশল ব্যবস্থা, যার মধ্যে রয়েছে এর আর্কিটেকচার, মেমরি ব্যবস্থাপনা, শিডিউলিং এবং অপ্টিমাইজেশন সিদ্ধান্ত।
সঠিক শুরুর বিন্দু হলো ওয়ার্কলোড, মডেল নয়। দ্রুত প্রতিক্রিয়ার জন্য অপ্টিমাইজ করা গ্রাহকমুখী সহকারীর চাহিদা রাতভর চলতে পারে এমন নথি-প্রক্রিয়াকরণ পাইপলাইনের চেয়ে সম্পূর্ণ আলাদা। উৎপাদনে লেটেন্সি, কনকারেন্সি, মেমরির চাপ, GPU ব্যবহার, অবকাঠামো খরচ এবং অনিশ্চিত ট্রাফিকের মতো সীমাবদ্ধতা আসে। যে মডেল সামান্য ভালো উত্তর দেয়, কিন্তু অনুমান খরচ দ্বিগুণ করে বা লেটেন্সির শর্ত পূরণ করতে ব্যর্থ হয়, সেটি ভালো পছন্দ নয়। লক্ষ্য হলো প্রতিটি ওয়ার্কলোডের জন্য সঠিক খরচে সঠিক বুদ্ধিমত্তা স্থাপন করা।
সার্ভিং-এর সিদ্ধান্তগুলো পরস্পরকে প্রভাবিত করে। আর্কিটেকচার মেমরি ব্যবহারকে প্রভাবিত করে, মেমরি কনকারেন্সিকে প্রভাবিত করে, আর কনকারেন্সি ব্যাচিং, শিডিউলিং এবং GPU ব্যবহারকে আকার দেয়। GPU মেমরি এর একটি স্পষ্ট উদাহরণ: কনকারেন্সি বাড়লে কি-ভ্যালু ক্যাশ ব্যবহারযোগ্য মেমরি নিঃশেষ করে ফেলতে পারে, যদিও কম্পিউট ক্ষমতা তখনও অবশিষ্ট থাকে। সেই বাধাটি চিহ্নিত না করে আরও কম্পিউট যোগ করলে একটি অদক্ষ ব্যবস্থা শুধু আরও ব্যয়বহুল হয়।
পথনির্দেশক নীতি হলো অপ্টিমাইজ করার আগে পরিমাপ করা, প্রধান সীমাবদ্ধতা চিহ্নিত করা, তা মোকাবেলা করা, ফলাফল পরিমাপ করা এবং নতুন কোনো বাধা দেখা দিয়েছে কি না তা যাচাই করা। অপ্টিমাইজেশন কৌশলগুলো শুধু সংগ্রহের জন্য সংগ্রহ করা উচিত নয়। লক্ষ্য হলো একটি নির্দিষ্ট ওয়ার্কলোডের জন্য সবচেয়ে বেশি প্রভাবশালী সীমাবদ্ধতা দূর করে এমন কৌশলটি প্রয়োগ করা।
উৎস: MIT Technology Review AI · সারাংশ: HeadlinesBriefing