Корпоративные конвейеры интеграции данных сталкиваются с критической проблемой: масштабирование пропускной способности без компромиссов в точности данных. Этот отчет детализирует масштабирование с 500 до 8 000 событий в секунду при сохранении двух непременных гарантий.
Первая гарантия предотвращает перезапись более поздних состояний сущностей более ранними версиями. Каждая сущность несет номер версии, принадлежащий источнику, и записи отклоняют устаревшие данные через механизм последнего письма выигрывает, где 'последняя' означает самый высокий номер версии, а не время прибытия. Это позволяет агрессивный параллелизм без проблем с упорядочиванием.
Вторая гарантия обеспечивает точное обнаружение дубликатов. Каждая принятая запись пишет свою запись в журнал дедупликации и коммерческие данные в той же транзакции базы данных, заставляя их фиксироваться вместе или ни при чем. Переход от проверок на уровне приложения к ограничениям первичного ключа базы данных устранил пропуски дубликатов при высокой конкуренции.
Масштабирование пропускной способности использует стратегическое разбиение. События для одной и той же сущности маршрутизируются в один и тот же раздел через хеширование идентификатора сущности, сохраняя естественный порядок. Однако, когда один большой счетчик создал 100 раз больше трафика, чем обычно, субразделение распределило горячие сущности по разделам, используя идентификатор сущности плюс тип события в качестве ключа. Фоновый процесс непрерывно мониторит темпы сущностей, повышая и понижая сущности между обычным и точечным разделением. Система проверки версий поглощает любую обработку вне порядка, которую вводит субразделение.
Микропакетная обработка обеспечивает реальные улучшения скорости, устраняя сетевые переходы для каждого события и уменьшая накладные расходы на отдельные транзакции базы данных.
Ключевые Сущности: Компании: В сторону Науки о Данных
Источник: Towards Data Science · Сводку подготовил HeadlinesBriefing