এন্টারপ্রাইজ ডেটা ইন্টিগ্রেশন পাইপলাইনগুলি একটি আলোচনীয় চ্যালেঞ্জের সম্মুখীন: ডেটার সঠিকতা বাদ দিয়ে থ্রুপুট বাড়ানো। এই বিবরণীটি দুটি অপরিহার্য গ্যারান্টি বজায় রেখে 500 থেকে 8,000 ইভেন্ট প্রতি সেকেন্ড পর্যন্ত স্কেলিং বিস্তারিত করে।
প্রথম গ্যারান্টি প্রতিবন্ধ করে যে পরবর্তী ইয়েন্টিটির অবস্থাগুলি আগের সংস্করণ দ্বারা আরও বেশি লেখা হয়। প্রতিটি ইয়েন্টিটি সূত্র-নিজস্ব সংস্করণ নম্বর বহন করে, এবং লেখার সময় সবচেয়ে বেশি লেখা জয় মেকানিজমের মাধ্যমে পুরোনো ডেটা প্রত্যাখ্যান করে, যেখানে 'শেষ' মানে সর্বোচ্চ সংস্করণ নম্বর, সময় নয়। এটি ক্রম ব্যবস্থাপনার চিন্তা ছাড়াই আক্রামী সমান্তরালতা সম্ভব করে তোলে।
দ্বিতীয় গ্যারান্টি সঠিক ডুপ্লিকেট সনাক্তকরণ নিশ্চিত করে। প্রতিটি স্বীকৃত রেকর্ড তার ডেডুপ-লগ এন্ট্রি এবং ব্যবসাগত ডেটা একই ডাটাবেস লেনদেনে লিখে, যাতে সেগুলি একসাথে প্রতিশ্রুত বা কখনোই না হয়। অ্যাপ্লিকেশন-স্তরের চেক থেকে ডাটাবেস প্রাইমারি কী বাধ্যতামূলক অবস্থায় রূপান্তর করা উচ্চ সমান্তরালতা কালে ডুপ্লিকেট স্লিপস বাদ দিয়েছে।
Throughput স্কেলিং কৌশলগত ভাগ করে রাখে। একই ইয়েন্টিটির ইভেন্টগুলি ইয়েন্টিটি আইডি হ্যাশিংএর মাধ্যমে একই ভাগে পাঠানো হয়, যা প্রাকৃতিক ক্রম বজায় রাখে। তবে, যখন একটি বড় অ্যাকাউন্ট স্বাভাবিক ট্রাফিকের 100 গুণ উৎপাদন করে, তখন সাব-পার্টিশনিং গরম ইয়েন্টিটিগুলিকে ভাগগুলিতে ছড়িয়ে দেয় ইয়েন্টিটি আইডি প্লাস ইভেন্ট টাইপকে কী হিসাবে ব্যবহার করে। একটি ব্যাকগ্রাউন্ড জব নিরবচ্ছিন্নভাবে ইয়েন্টিটি হার মনিটর করে, নিয়মিত এবং সূক্ষ্ম-দান ভাগ করে রাখার মধ্যে ইয়েন্টিটিগুলিকে পদোন্মুক্ত এবং পদাপন্ন করে। সংস্করণ চেক সিস্টেম সাব-পার্টিশনিং যে কোনও আউট-অফ-অর্ডার প্রক্রিয়াকরণ শোষণ করে।
মাইক্রো-ব্যাচিং প্রকৃত গতি উন্নয়ন প্রদান করে প্রতি ইভেন্ট নেটওয়ার্ক রাউন্ড-ট্রিপস বাতিল করে এবং আলাদা ডাটাবেস লেনদেন ওভারহেড কমিয়ে।
মুখ্য ইয়েন্টিটিজ: কোম্পানিগুলি: ডেটা বিজ্ঞানের দিকে
উৎস: Towards Data Science · সারাংশ: HeadlinesBriefing