如何利用Apache Hudi与Debezium搭建高效的CDC数据入湖方案？

本文共计2529个文字，预计阅读时间需要11分钟。

自Hudi v0.10.0起，我们积极推出支持Deltastreamer的Debezium源，它能从Postgres和MySQL数据库到数据湖的变化数据（CDC）进行采集。详情请参阅原始RFC 1。

从 Hudi v0.10.0 开始，我们很高兴地宣布推出适用于 Deltastreamer 的 Debezium 源，它提供从 Postgres 和 MySQL 数据库到数据湖的变更捕获数据 (CDC) 的摄取。有关详细信息请参阅原始 RFC

1. 背景

当想要对来自事务数据库（如 Postgres 或 MySQL）的数据执行分析时，通常需要通过称为更改数据捕获 CDC的过程将此数据引入数据仓库或数据湖等 OLAP 系统。 Debezium 是一种流行的工具，它使 CDC 变得简单，其提供了一种通过读取更改日志来捕获数据库中行级更改的方法，通过这种方式 Debezium 可以避免增加数据库上的 CPU 负载，并确保捕获包括删除在内的所有变更。
现在 Apache Hudi 提供了 Debezium 源连接器，CDC 引入数据湖比以往任何时候都更容易，因为它具有一些独特的差异化功能。 Hudi 可在数据湖上实现高效的更新、合并和删除事务。 Hudi 独特地提供了 Merge-On-Read 写入器，与使用 Spark 或 Flink 的典型数据湖写入器相比，该写入器可以显着降低摄取延迟。