Los pipelines de integración de datos empresariales enfrentan un desafío crítico: escalar el rendimiento sin comprometer la corrección de los datos. Esta cuenta detalla la escala desde 500 hasta 8,000 eventos por segundo manteniendo dos garantías no negociables.
La primera garantía previene que estados posteriores de entidades sean sobrescritos por versiones anteriores. Cada entidad lleva un número de versión propiedad del origen, y las escrituras rechazan datos obsoletos mediante un mecanismo de última escritura gana, donde 'última' significa el número de versión más alto, no el tiempo de llegada. Esto permite paralelismo agresivo sin preocupaciones de orden.
La segunda garantía asegura una detección precisa de duplicados. Cada registro aceptado escribe su entrada de deduplicación y datos comerciales en la misma transacción de base de datos, haciendo que se comprometan juntos o no en absoluto. Pasar de verificaciones a nivel de aplicación a restricciones de clave primaria de base de datos eliminó deslizamientos de duplicados durante alta concurrencia.
La escala de rendimiento emplea particionamiento estratégico. Los eventos para la misma entidad se enrutan a la misma partición mediante hash de ID de entidad, manteniendo el orden natural. Sin embargo, cuando una gran cuenta generó 100 veces el tráfico normal, el sub-particionamiento distribuyó entidades calientes a través de particiones usando ID de entidad más tipo de evento como clave. Un trabajo en segundo plano monitorea continuamente las tasas de entidad, promoviendo y degradando entidades entre particionamiento regular y fino. El sistema de verificación de versiones absorbe cualquier procesamiento fuera de orden que el sub-particionamiento introduce.
El micro-lote entrega mejoras reales de velocidad eliminando viajes de red por evento y reduciendo la sobrecarga de transacciones de base de datos separadas.
Entidades Clave: Empresas: Hacia Ciencia de Datos
Fuente: Towards Data Science · Resumido por HeadlinesBriefing