OpenAI-এর পণ্যগুলো তাদের অনলাইন স্টোরেজ প্ল্যাটফর্ম Habitat-এর উপর নির্ভরশীল, যাকে ৪০টি ভৌগোলিক অঞ্চলের ১০০ কোটির বেশি ব্যবহারকারীর অনুরোধে মিলিসেকেন্ডের মধ্যে সাড়া দিতে হয়। এই বৃদ্ধিকে সমর্থন করার পাশাপাশি নির্ভরযোগ্যতা, কার্যকারিতা এবং ডেভেলপারদের গতি উন্নত করতে প্ল্যাটফর্মটি কীভাবে ডিজাইন ও পরিচালিত হয় তা নতুন করে ভাবতে হয়েছিল। OpenAI-এর পদ্ধতি একটি সুস্পষ্ট ধারাবাহিকতা অনুসরণ করেছিল: প্রথমে মিশন-ক্রিটিক্যাল ট্র্যাফিকের জন্য যথেষ্ট নির্ভরযোগ্য হওয়া, তারপর বিশ্বজুড়ে ব্যবহারকারীদের জন্য যথেষ্ট দ্রুত হওয়া, এবং শেষে বিশাল পরিসরে পরিচালনা করা।
এই দুই-পর্বের সিরিজটি Habitat-এর বিবর্তনের ধারাবাহিকতা তুলে ধরে, যা একটি সাধারণ ক্লায়েন্ট লাইব্রেরি ও ডেটাবেস থেকে শুরু করে ৫০০ পেটাবাইটের বেশি ডেটা পরিবেশনকারী একটি বৈশ্বিকভাবে বিতরণকৃত স্টোরেজ প্ল্যাটফর্মে পরিণত হয়েছে। প্রথম পর্বে Python ক্লায়েন্ট থেকে একটি সার্ভিসে রূপান্তর এবং সেই কৌশলগুলো আলোচনা করা হয়েছিল যেগুলো একটি Python-ভিত্তিক সার্ভিসকে অনেকের ব্যবহারিক বলে বিবেচিত সীমার অনেক বাইরে নিয়ে গিয়েছিল।
দ্বিতীয় পর্বটি অন্তর্নিহিত স্টোরেজ উপাদান Azure Cosmos DB-এর সম্প্রসারণের উপর কেন্দ্রীভূত। Azure দলের সঙ্গে ঘনিষ্ঠভাবে কাজ করে OpenAI সহ-পরিচালিত কন্টেইনারের মাধ্যমে একটি কার্যকর মাল্টি-টেন্যান্সি পদ্ধতিতে পৌঁছেছে, যা বিশাল ও বৈশ্বিক পরিসরে চমৎকার রিড কর্মক্ষমতা দেয়।
মাল্টি-টেন্যান্সির সঙ্গে আপোষ জড়িত। একক-টেন্যান্ট সিস্টেম ক্ষতির পরিধি কমায় এবং মালিকানা সহজ করে, কিন্তু সেগুলো ব্যয়বহুল এবং প্রায়ই প্রয়োজনের চেয়ে অনেক বেশি সম্পদ বরাদ্দের দিকে নিয়ে যায়। মাল্টি-টেন্যান্ট সিস্টেম প্রভিশনিংয়ের দক্ষতা কেন্দ্রীভূত করে, তবে "noisy neighbor" সমস্যা নিয়ে আসে, যেখানে একজন টেন্যান্ট অসম্ভব বেশি সম্পদ ব্যবহার করে ফেলে। OpenAI ডিফল্ট হিসেবে মাল্টি-টেন্যান্ট কন্টেইনারে স্থির হওয়ার আগে এই দুই মডেলের মধ্যে বারবার যাতায়াত করেছে, এবং তারা বলছে তাদের মাল্টি-টেন্যান্সি যাত্রা এখনো শুরুর দিকে আছে।
উৎস: OpenAI Blog · সারাংশ: HeadlinesBriefing