字节跳动如何优化Flink Checkpoint两阶段提交在流式数据集成中的应用？

本文共计4979个文字，预计阅读时间需要20分钟。

背景+字节数动发展套件（DTS，Data Transmission Service）在字节数动内基于Flink实现流批一体化的数据集成服务。其中，一个典型场景是Kafka/ByteMQ/RocketMQ-HDFS/Hive。

背景

字节跳动开发套件数据集成团队（DTS ，Data Transmission Service）在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ/RocketMQ -> HDFS/Hive（下面均称之为 MQ dump，具体介绍可见 字节跳动基于Flink的MQ-Hive实时数据集成 ） 在数仓建设第一层，对数据的准确性和实时性要求比较高。​

目前字节跳动中国区 MQ dump 例行任务数巨大，日均处理流量在 PB 量级。巨大的任务量和数据量对 MQ dump 的稳定性以及准确性带来了极大的挑战。​

本文主要介绍 DTS MQ dump 在极端场景中遇到的数据丢失问题的排查与优化，最后介绍了上线效果。

线上问题

HDFS 集群某个元数据节点由于硬件故障宕机。在该元数据节点终止半小时后，HDFS 手动运维操作将 HDFS 切主到 backup 节点后，HDFS 恢复服务。故障恢复后用户反馈 MQ dump 在故障期间有数据丢失，产出的数据与 MQ 中的数据不一致。

收到反馈后我们立即进行故障的排查。下面先简要介绍一下 Flink Checkpoint 以及 MQ dump 写入流程，然后再介绍一下故障的排查过程以及解决方案，最后是上线效果以及总结。