पारंपरिक रिमोट प्रोसीजर कॉल (RPC) आर्किटेक्चर के साथ, एक मुख्य चुनौती मौजूद है: उत्पादकों और उपभोक्ताओं को पैमाने और समय में संरेखित होना चाहिए। यदि आपके उत्पादक आपके उपभोक्ताओं को संभालने के लिए बहुत अधिक डेटा भेजते हैं या यदि आपके उपभोक्ता या डाउनस्ट्रीम सेवाएं अनुपलब्ध हो जाती हैं, तो इवेंट ड्रॉप हो जाते हैं। यह समस्या कई उपभोक्ताओं के साथ और बढ़ जाती है जिन्हें डेटा को स्वतंत्र रूप से संसाधित करने की आवश्यकता होती है। उदाहरण के लिए, एक ईकॉमर्स बैकएंड लेन-देन पूरा होने पर इवेंट उत्सर्जित कर सकता है, जिसे एक एनालिटिक्स सिस्टम और एक धोखाधड़ी का पता लगाने वाली सेवा द्वारा पढ़ने की आवश्यकता होती है। हम अपने उत्पादकों और उपभोक्ताओं को अलग करके इस समस्या को हल कर सकते हैं - बीच में एक सेवा डालकर जो लेखन को अवशोषित करती है जबकि स्वतंत्र पाठकों को अपनी गति से उपभोग करने की अनुमति देती है।
आज हम इस समस्या को हल करने के लिए सार्वजनिक बीटा में Cloudflare K2 लॉन्च कर रहे हैं। K2 डेवलपर प्लेटफॉर्म पर एक टिकाऊ इवेंट स्ट्रीमिंग प्रिमिटिव है। आप K2 स्ट्रीम पर इवेंट भेजते हैं, जो उन्हें एक ऑर्डर किए गए लॉग के रूप में संग्रहीत करता है। उपभोक्ता उन्हें विभिन्न तरीकों से पढ़ सकते हैं, उदाहरण के लिए उपभोक्ताओं के एक सेट में रीड को विभाजित करके, या सभी संदेशों को सभी उपभोक्ताओं को वितरित करके। यह पूरी तरह से सर्वरलेस है, डेटा की विशाल मात्रा में स्केल करता है, और दीर्घकालिक प्रतिधारण का समर्थन करता है, ताकि उपभोक्ता के लंबे समय तक डाउनटाइम भी डेटा न खोएं।
हुड के नीचे, K2 R2 ऑब्जेक्ट स्टोरेज के शीर्ष पर एक विभाजित, टिकाऊ लॉग लागू करता है, जो इसे स्टोरेज की विशाल मात्रा में स्केल करने की अनुमति देता है। यदि आप शुरू करने के लिए तैयार हैं, तो आप यहां गाइड का पालन करके सेकंड में अपना पहला स्ट्रीम बना सकते हैं। हमने पहली बार K2 बनाया क्योंकि हमें किनारे पर एक टिकाऊ बफर की आवश्यकता थी, शुरू में बेसिन पाइपलाइनों के लिए इंजेशन लेयर के रूप में सेवा करने के लिए। हमारी अनूठी वास्तुकला का मतलब है कि हम अक्सर Apache Kafka जैसे पारंपरिक वितरित सिस्टम सॉफ़्टवेयर नहीं चला सकते हैं, और इन प्रणालियों के निर्माण और संचालन के तरीके पर पुनर्विचार करने की आवश्यकता है।
K2 बनने वाली टिकाऊ बफरिंग प्रणाली को डिजाइन करने में, हमने उस शक्तिशाली राज्य प्रिमिटिव पर भरोसा करने का फैसला किया जो हमारे पास पहले से है: R2। R2 जैसी ऑब्जेक्ट स्टोरेज सिस्टम अत्यधिक टिकाऊ स्टोरेज (11 9s!) को मजबूत सुसंगत API के साथ जोड़ती है। एक द्वितीयक लाभ यह है कि यह कंप्यूट और स्टोरेज को अलग करता है, जिसका अर्थ है कि प्रत्येक को स्वतंत्र रूप से स्केल किया जा सकता है। यह हमें कम लागत पर ऐतिहासिक डेटा की विशाल मात्रा को संग्रहीत करने की अनुमति देता है।
स्रोत: Hacker News · HeadlinesBriefing द्वारा सारांशित