প্রথাগত রিমোট প্রসিডিউর কল (RPC) আর্কিটেকচারের সাথে, একটি মূল চ্যালেঞ্জ বিদ্যমান: উৎপাদক এবং ভোক্তাদের স্কেল এবং সময়ে সারিবদ্ধ হতে হবে। যদি আপনার উৎপাদকরা আপনার ভোক্তাদের পরিচালনা করার জন্য খুব বেশি ডেটা পাঠায় বা যদি আপনার ভোক্তা বা ডাউনস্ট্রিম পরিষেবাগুলি অনুপলব্ধ হয়ে যায়, তাহলে ইভেন্টগুলি ড্রপ হয়ে যায়। এই সমস্যাটি একাধিক ভোক্তাদের সাথে আরও জটিল হয় যাদের স্বাধীনভাবে ডেটা প্রক্রিয়া করতে হয়। উদাহরণস্বরূপ, একটি ই-কমার্স ব্যাকএন্ড লেনদেন সম্পূর্ণ হলে ইভেন্ট নির্গত করতে পারে, যা একটি বিশ্লেষণ সিস্টেম এবং একটি জালিয়াতি সনাক্তকরণ পরিষেবা দ্বারা পড়তে হবে। আমরা আমাদের উৎপাদক এবং ভোক্তাদের ডিকপল করে এই সমস্যার সমাধান করতে পারি — মাঝখানে একটি পরিষেবা সন্নিবেশ করিয়ে যা লেখাগুলি শোষণ করে যখন স্বাধীন পাঠকদের তাদের নিজস্ব গতিতে ভোগ করতে দেয়।
আজ আমরা এই সমস্যা সমাধানের জন্য পাবলিক বিটাতে Cloudflare K2 চালু করছি। K2 ডেভেলপার প্ল্যাটফর্মে একটি টেকসই ইভেন্ট স্ট্রিমিং প্রিমিটিভ। আপনি K2 স্ট্রিমে ইভেন্ট পাঠান, যা সেগুলিকে একটি অর্ডারকৃত লগ হিসাবে সংরক্ষণ করে। ভোক্তারা বিভিন্ন উপায়ে সেগুলি পড়তে পারেন, উদাহরণস্বরূপ ভোক্তাদের একটি সেট জুড়ে পড়া বিভক্ত করে, বা সমস্ত বার্তা সমস্ত ভোক্তাদের কাছে সরবরাহ করে। এটি সম্পূর্ণ সার্ভারলেস, বিপুল পরিমাণ ডেটাতে স্কেল করে এবং দীর্ঘমেয়াদী ধারণকে সমর্থন করে, তাই ভোক্তার দীর্ঘ সময়ের ডাউনটাইমও ডেটা হারায় না।
হুডের নীচে, K2 R2 অবজেক্ট স্টোরেজের উপরে একটি পার্টিশনযুক্ত, টেকসই লগ প্রয়োগ করে, যা এটিকে স্টোরেজের বিশাল ভলিউমে স্কেল করতে দেয়। আপনি যদি শুরু করতে প্রস্তুত হন, তাহলে আপনি এখানে গাইড অনুসরণ করে সেকেন্ডের মধ্যে আপনার প্রথম স্ট্রিম তৈরি করতে পারেন। আমরা প্রথমে K2 তৈরি করেছি কারণ আমাদের প্রান্তে একটি টেকসই বাফার প্রয়োজন ছিল, প্রাথমিকভাবে বেসিন পাইপলাইনের জন্য ইনজেশন লেয়ার হিসাবে কাজ করার জন্য। আমাদের অনন্য আর্কিটেকচারের অর্থ হল আমরা প্রায়শই Apache Kafka এর মতো ঐতিহ্যবাহী ডিস্ট্রিবিউটেড সিস্টেম সফ্টওয়্যার চালাতে পারি না এবং এই সিস্টেমগুলি কীভাবে তৈরি এবং পরিচালিত হয় তা পুনর্বিবেচনা করতে হবে।
K2 হয়ে ওঠা টেকসই বাফারিং সিস্টেম ডিজাইন করার সময়, আমরা ইতিমধ্যে থাকা শক্তিশালী স্টেট প্রিমিটিভের উপর নির্ভর করার সিদ্ধান্ত নিয়েছি: R2। R2-এর মতো অবজেক্ট স্টোরেজ সিস্টেমগুলি অত্যন্ত টেকসই স্টোরেজ (11 9s!)কে শক্তিশালী সামঞ্জস্যপূর্ণ API-এর সাথে একত্রিত করে। একটি গৌণ সুবিধা হল এটি কম্পিউট এবং স্টোরেজকে পৃথক করে, যার অর্থ প্রতিটি স্বাধীনভাবে স্কেল করা যেতে পারে। এটি আমাদের কম খরচে বিপুল পরিমাণ ঐতিহাসিক ডেটা সংরক্ষণ করতে দেয়।
উৎস: Hacker News · সারাংশ: HeadlinesBriefing