Pipeline integrasi data perusahaan menghadapi tantangan kritis: menskalakan throughput tanpa mengorbankan kebenaran data. Laporan ini mendetailkan penskalaan dari 500 hingga 8.000 peristiwa per detik sambil mempertahankan dua jaminan yang tidak dapat ditawar.
Jaminan pertama mencegah negara entitas yang lebih baru ditimpa oleh versi yang lebih lama. Setiap entitas membawa nomor versi yang dimiliki sumber, dan penulisan menolak data usang melalui mekanisme last-write-wins di mana 'terakhir' berarti nomor versi tertinggi, bukan waktu kedatangan. Ini memungkinkan paralelisasi agresif tanpa kekhawatiran tentang urutan.
Jaminan kedua memastikan deteksi duplikat yang akurat. Setiap catatan yang diterima menulis entri log dedup-nya dan data bisnis dalam satu transaksi database yang sama, membuatnya berkomitmen bersama-sama atau tidak sama sekali. Berpindah dari pemeriksaan tingkat aplikasi ke batasan kunci primer database menghilangkan slips duplikat selama konkurensi tinggi.
Penskalaan throughput menggunakan partisi strategis. Peristiwa untuk entitas yang sama diarahkan ke partisi yang sama melalui hashing ID entitas, menjaga urutan alami. Namun, ketika satu akun besar menghasilkan 100 kali lalu lintas normal, sub-partisi menyebarkan entitas panas di seluruh partisi menggunakan ID entitas plus jenis peristiwa sebagai kunci. Pekerjaan latar belakang secara terus-menerus memantau laju entitas, mempromosikan dan menurunkan entitas antara partisi reguler dan partisi halus. Sistem pemeriksaan versi menyerap setiap pemrosesan di luar urutan yang diperkenalkan oleh sub-partisi.
Micro-batching memberikan perbaikan kecepatan yang sebenarnya dengan menghilangkan round-trip jaringan per peristiwa dan mengurangi overhead transaksi database terpisah.
Entitas Kunci: Perusahaan: Menuju Ilmu Data
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing