تواجه خطوط أنابيب تكامل البيانات المؤسسية تحديًا حاسمًا: توسيع الإنتاجية دون المساومة على صحة البيانات. تفصيل هذا يوضح التوسيع من 500 إلى 8,000 حدث في الثانية مع الحفاظ على ضمانتين غير قابلين للتنازل.
الضمانة الأولى تمنع حالات كيان لاحقة من التركيب على إصدارات أقدم. يحمل كل كيان رقم إصدار يملكه المصدر، وترفض العمليات الكتابة البيانات القديمة من خلال آلية الكتابة الأخيرة تفوق، حيث يعني 'الأخير' أعلى رقم إصدار، وليس وقت الوصول. هذا يتيح التوازي العنيف دون مخاوف من الترتيب.
الضمانة الثانية تضمن اكتشافًا دقيقًا للتكرار. كل سجل مقبول يكتب إدخال سجل إزالة التكرار والبيانات التجارية في نفس معاملة قاعدة البيانات، مما يجعلهما يلتزمان معًا أو لا يلتزمان على الإطلاق. الانتقال من فحوصات على مستوى التطبيق إلى قيود مفتاح أساسي قاعدة البيانات أزال تكرار الإغفال خلال التزامن عالي.
توسيع الإنتاجية يستخدم تقسيمًا إستراتيجيًا. يتم توجيه الأحداث لنفس الكيان إلى نفس القسم عبر تجزئة معرف الكيان، مما يحافظ على الترتيب الطبيعي. ومع ذلك، عندما أنتج حساب كبير 100 مرة حركة المرور العادية، نقل تقسيم فرعي كيانات ساخنة عبر الأقسام باستخدام معرف الكيان بالإضافة إلى نوع الحدث كمفتاح. وظيفة خلفية تراقب باستمرار معدلات الكيانات، تعزيز وتخفيض الكيانات بين التقسيم العادي والدقيق. نظام فحص الإصدار يمتص أي معالجة خارج الترتيب التي يقدمها التقسيم الفرعي.
يسلم التجميع الصغير تحسينات سرعة حقيقية من خلال إزالة الرحلات الشبكية لكل حدث وتقليل نفقات معاملات قاعدة البيانات منفصلة.
الكيانات الرئيسية: الشركات: نحو علوم البيانات
المصدر: Towards Data Science · لخّصه HeadlinesBriefing