Unternehmensdaten-Integrations-Pipelines stehen vor einer kritischen Herausforderung: Durchsatz ohne Kompromisse bei der Datenkorrektheit zu skalieren. Dieser Bericht detailliert die Skalierung von 500 auf 8.000 Ereignisse pro Sekunde bei Beibehaltung von zwei unaufhaltsamen Garantien.
Die erste Garantie verhindert, dass spätere Entitätszustände durch frühere Versionen überschrieben werden. Jede Entität trägt eine quelleneigennummerierte Versionsnummer, und Schreibvorgänge lehnen veraltete Daten durch einen Lastschreib-Mechanismus ab, wobei 'letzte' die höchste Versionsnummer bedeutet, nicht die Ankunftszeit. Dies ermöglicht aggressive Parallelität ohne Ordnungsprobleme.
Die zweite Garantie stellt eine präzise Duplikaterkennung sicher. Jeder akzeptierte Datensatz schreibt seinen Deduplizierungs-Log-Eintrag und geschäftliche Daten in dieselbe Datenbanktransaktion, wodurch sie entweder gemeinsam oder gar nicht erst festgeschrieben werden. Der Wechsel von Anwendungsebene-Prüfungen zu Datenbank-Primärschlüsselbeschränkungen hat Duplikatverfälle bei hoher Konkurrenz eliminiert.
Die Durchsatzskalierung verwendet strategische Partitionierung. Ereignisse für dieselbe Entität werden über die Entitäts-ID-Hash-Funktion an dieselbe Partition weitergeleitet und die natürliche Reihenfolge bewahren. Wenn jedoch ein großes Konto 100-mal so viel Verkehr wie normal generierte, verteilte die Sub-Partitionierung heiße Entitäten über Partitionen unter Verwendung von Entitäts-ID plus Ereignistyp als Schlüssel. Ein Hintergrundjob überwacht kontinuierlich die Entitätsraten, befördert und degradiert Entitäten zwischen regulärer und feinkörniger Partitionierung. Das Versionsprüfsystem absorbiert jede Reihenfolge außerhalb der Verarbeitung, die durch Sub-Partitionierung verursacht wird.
Micro-Batching liefert echte Geschwindigkeitsverbesserungen durch Eliminierung von Netzwerkrunden pro Ereignis und Reduzierung separater Datenbanktransaktionskosten.
Schlüsselentitäten: Unternehmen: Zu den Datenwissenschaften
Quelle: Towards Data Science · Zusammengefasst von HeadlinesBriefing