如何通过Apache SeaTunnel实现非CDC数据抽取？

本文共计3412个文字，预计阅读时间需要14分钟。

导语：随着全球数据量的不断增长，越来越多的业务需求高并发、高可用、可扩展以及海量数据存储。在这种背景下，适应各种场景的数据存储技术也在不断产生和发展。

---

导读： 随着全球数据量的不断增长，越来越多的业务需要支撑高并发、高可用、可扩展、以及海量的数据存储，在这种情况下，适应各种场景的数据存储技术也不断的产生和发展。与此同时，各种数据库之间的同步与转化的需求也不断增多，数据集成成为大数据领域的热门方向，于是SeaTunnel应运而生。SeaTunnel是一个分布式、高性能、易扩展、易使用、用于海量数据（支持实时流式和离线批处理）同步和转化的数据集成平台，架构于Apache Spark和Apache Flink之上。本文主要介绍SeaTunnel 1.X在交管行业中的应用，以及其中如何实现从Oracle数据库把数据增量导入数仓这样一个具体的场景。

今天的介绍会围绕下面六点展开：

• SeaTunnel简介
• SeaTunnel应用场景
• 相关业务痛点
• 选择SeaTunnel的原因
• 具体实现方案
• 具体实现流程

--

01 SeaTunnel简介

下面对SeaTunnel从产品功能，技术特性、工作流程、环境依赖、用户使用等方面做一个总体的介绍。

1. Apache SeaTunnel整体介绍

互联网行业数据量非常大，对性能还有其他各方面的技术要求都非常高，在笔者所在的交管行业中，情况就不太一样，各方面的要求也没有互联网行业那么高，在具体的数据集成应用中，主要是使用SeaTunnel1.X版本。