एंटरप्राइज़ डेटा इंटीग्रेशन पाइपलाइन्स को एक आलोचनात्मक चुनौती है: डेटा सहीत्व को समझौता किए बिना throughput को स्केल करना। यह विवरण 500 से 8,000 ईवेंट्स प्रति सेकंड तक स्केलिंग के बारे में है जबकि दो अवमूल्य नहीं किए जा सकते गारंटीज़ी बनाए रखता है।
पहली गारंटी यह सुनिश्चित करती है कि बाद के इक्यूटी स्टेट्स पहले के संस्करण द्वारा अधिलेखित न हों। प्रत्येक इक्यूटी के पास स्रोत-स्वामित्व वाला संस्करण नंबर होता है, और लिखते समय सबसे पहले लिखे जाने वाले मैकेनिज़्म के माध्यम से सेलीबा डेटा को अस्वीकार करता है जहाँ 'अंतिम' सबसे अधिक संस्करण नंबर का अर्थ है, समय के नहीं। इससे बिना क्रमबद्धता की चिंता के आक्रामक समानांतरता संभव होती है।
दूसरी गारंटी सटीक डुप्लीकेट पहचान सुनिश्चित करती है। प्रत्येक स्वीकृत रिकॉर्ड अपनी डेडुप-लॉग एंट्री और व्यावसायिक डेटा एक ही डेटाबेस लेनदेन में लिखता है, जिससे वे एक साथ या कभी नहीं प्रतिबद्ध होते हैं। एप्लिकेशन-स्तरीय जाँचों से डेटाबेस प्राथमिक कुंजी बाध्यताओं तक स्विच करने से उच्च समानांतरता के दौरान डुप्लीकेट स्लिप्स को समाप्त कर दिया गया।
Throughput स्केलिंग रणनीतिक विभाजन का उपयोग करता है। समान इक्यूटी के ईवेंट्स इक्यूटी आईडी हैशिंग के माध्यम से एक ही विभाग में रूट किए जाते हैं, जो प्राकृतिक क्रम बनाए रखता है। हालाँकि, जब एक बड़ा खाता सामान्य यातायात के 100 गुना उत्पादित करता है, तो सब-विभाजन इक्यूटी आईडी प्लस ईवेंट प्रकार को कुंजी के रूप में उपयोग करके गर्म इक्यूटीज़ को विभागों में फैलाता है। एक बैकग्राउंड नौकरी निरंतर इक्यूटी दरों की निगरानी करती है, नियमित और सूक्ष्म-दान विभाजन के बीच इक्यूटीज़ को पदोन्नत और पदोन्नत करती है। संस्करण जाँच प्रणाली सब-विभाजन द्वारा परिचयित किसी भी बाहर क्रम संसाधन को शोषित करती है।
माइक्रो-बैचिंग वास्तविक गति सुधार प्रदान करता है जो प्रति ईवेंट नेटवर्क राउंड-ट्रिप्स को समाप्त करके और अलग-अलग डेटाबेस लेनदेन के ओवरहेड को कम करके।
मुख्य इक्यूटीज़: कंपनियाँ: डेटा विज्ञान की ओर
स्रोत: Towards Data Science · HeadlinesBriefing द्वारा सारांशित