如何利用Apache Hudi在Google云上高效构建数据湖？

本文共计2262个文字，预计阅读时间需要10分钟。

自从计算机出现以来，我们一直在尝试寻找存储信息的各种方法。存储在计算机上的信息（也称数据）有多种形式，从最重要的到最实用的信息，都已成为触手可及的商品。

自从计算机出现以来，我们一直在尝试寻找计算机存储一些信息的方法，存储在计算机上的信息（也称为数据）有多种形式，数据变得如此重要，以至于信息现在已成为触手可及的商品。多年来数据以多种方式存储在计算机中，包括数据库、blob存储和其他方法，为了进行有效的业务分析，必须对现代应用程序创建的数据进行处理和分析，并且产生的数据量非常巨大！有效地存储数PB数据并拥有必要的工具来查询它以便使用它至关重要，只有这样对该数据的分析才能产生有意义的结果。
大数据是一门处理分析方法、有条不紊地从中提取信息或以其他方式处理对于典型数据处理应用程序软件而言过于庞大或复杂的数据量的方法的学科。为了处理现代应用程序产生的数据，大数据的应用是非常必要的，考虑到这一点，本博客旨在提供一个关于如何创建数据湖的小教程，该数据湖从应用程序的数据库中读取任何更改并将其写入数据湖中的相关位置，我们将为此使用的工具如下：

• Debezium
• MySQL
• Apache Kafka
• Apache Hudi
• Apache Spark

我们将要构建的数据湖架构如下：

第一步是使用 Debezium 读取关系数据库中发生的所有更改，并将所有更改推送到 Kafka 集群。

Debezium 是一个用于变更数据捕获的开源分布式平台，Debezium 可以指向任何关系数据库，并且它可以开始实时捕获任何数据更改，它非常快速且实用，由红帽维护。