大多数 MySQL 到数据仓库的管道使用基于 SELECT 的定期同步，通过比较当前行与之前的快照来实现。这种方法会错过运行之间的删除和中间更新，并且在大表扫描期间会对生产数据库造成巨大负载。
变更数据捕获（CDC）直接从 MySQL 的二进制日志（binlog）读取，按顺序捕获每个 INSERT、UPDATE 和 DELETE 操作，并包含完整的行状态。每小时运行一次的 CDC 管道从根本上比每分钟运行一次的批量同步更可靠，因为它捕获了所有发生的变化，而不仅仅是最新的快照。
通过 binlog 的 CDC 需要特定的 MySQL 配置：以 ROW 格式启用二进制日志并使用完整行镜像（binlog_row_image=FULL），binlog_row_value_options 不设置为 PARTIAL_JSON，具备 REPLICATION SLAVE、REPLICATION CLIENT、SELECT、RELOAD 和 SHOW DATABASES 权限的复制用户，每个复制客户端具有唯一的 server-id，以及足够的 binlog 保留时间以覆盖停机时间（默认 30 天）。
像 Erathos 这样的托管平台处理快照模式选择、server-id 冲突避免以及 binlog 被清除时的恢复逻辑。一旦 CDC 正确捕获变更，将数据写入 BigQuery 就变得简单直接 — — 每个变更事件映射到一个行操作。优先考虑完整性而非速度：偶尔落后但从不出错的管道优于按时交付但数据不完整的管道。
关键实体：公司：Erathos, BigQuery, MySQL
来源: Hacker News · 由HeadlinesBriefing整理摘要