Vertica如何高效集成Apache Hudi实现数据管理？

本文共计1662个文字，预计阅读时间需要7分钟。

1. 摘要：本文演示了如何使用外部表集成了Vertica和Apache Hudi。在示例中，我们使用Spark上的Apache Hudi将数据提取到S3中，并使用Vertica外部表访问这些数据。

2. Apache Hudi介绍：Apache Hudi是一种用于数据存储和查询的框架，它提供了对实时数据集的读写访问。

1. 摘要

本文演示了使用外部表集成 Vertica 和 Apache Hudi。 在演示中我们使用 Spark 上的 Apache Hudi 将数据摄取到 S3 中，并使用 Vertica 外部表访问这些数据。

2. Apache Hudi介绍

Apache Hudi 是一种变更数据捕获 (CDC) 工具，可在不同时间线将事务记录在表中。 Hudi 代表 Hadoop Upserts Deletes and Incrementals，是一个开源框架。 Hudi 提供 ACID 事务、可扩展的元数据处理，并统一流和批处理数据处理。
以下流程图说明了该过程。 使用安装在 Apache Spark 上的 Hudi 将数据处理到 S3，并从 Vertica 外部表中读取 S3 中的数据更改。

3. 环境准备

• Apache Spark 环境。 使用具有 1 个 Master 和 3 个 Worker 的 4 节点集群进行了测试。 按照在多节点集群上设置 Apache Spark 中的说明安装 Spark 集群环境。 启动 Spark 多节点集群。
• Vertica 分析数据库。 使用 Vertica Enterprise 11.0.0 进行了测试。
• AWS S3 或 S3 兼容对象存储。 使用 MinIO 作为 S3 存储桶进行了测试。