如何将Flink作业提交流程描述为一系列长尾词构成的复杂？
- 内容介绍
- 文章标签
- 相关推荐
本文共计3541个文字，预计阅读时间需要15分钟。
大家好，我是小寒。今天给大家带来一篇关于Flink作业提交相关的文章。我们都知道，在开发完一个Flink应用后，需要将其打包成jar包。然后，可以通过Flink CLI或Web UI将作业提交到Flink集群。
大家好，我是小寒~
今天给大家带来一篇 flink 作业提交相关的文章。
我们都知道，在开发完一个 flink 应用程序后，打包成 jar 包，然后通过 FLink CLI 或者 Web UI 提交作业到 FLink 集群。其实，Flink 的 jar 文件并不是 FLink 集群的可执行文件，需要经过转换之后提交给集群。其转换过程分为两个大的步骤。
- 在 FLink Client 中通过反射启动 Jar 中的 main 函数，生成 Flink StreamGraph、JobGraph，将 JobGraph 提交给 Flink 集群。
- FLink 集群收到 JobGraph 之后，将 JobGraph 翻译成 ExecutionGraph，然后开始调度执行，启动成功之后开始消费数据。
总的来说，对用户API的调用，可以转换为 StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行拓扑（Task DAG）
提交流程FLink 作业在开发完毕之后，需要提交到 FLink 集群执行。ClientFrontend 是入口，触发用户开发的 Flink 应用 jar 文件中的 main 方法，然后交给 PipelineExecutor#execue 方法，最终会触发一个具体的 PipelineExecutor 执行，如下图所示。
本文共计3541个文字，预计阅读时间需要15分钟。
大家好，我是小寒。今天给大家带来一篇关于Flink作业提交相关的文章。我们都知道，在开发完一个Flink应用后，需要将其打包成jar包。然后，可以通过Flink CLI或Web UI将作业提交到Flink集群。
大家好，我是小寒~
今天给大家带来一篇 flink 作业提交相关的文章。
我们都知道，在开发完一个 flink 应用程序后，打包成 jar 包，然后通过 FLink CLI 或者 Web UI 提交作业到 FLink 集群。其实，Flink 的 jar 文件并不是 FLink 集群的可执行文件，需要经过转换之后提交给集群。其转换过程分为两个大的步骤。
- 在 FLink Client 中通过反射启动 Jar 中的 main 函数，生成 Flink StreamGraph、JobGraph，将 JobGraph 提交给 Flink 集群。
- FLink 集群收到 JobGraph 之后，将 JobGraph 翻译成 ExecutionGraph，然后开始调度执行，启动成功之后开始消费数据。
总的来说，对用户API的调用，可以转换为 StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行拓扑（Task DAG）
提交流程FLink 作业在开发完毕之后，需要提交到 FLink 集群执行。ClientFrontend 是入口，触发用户开发的 Flink 应用 jar 文件中的 main 方法，然后交给 PipelineExecutor#execue 方法，最终会触发一个具体的 PipelineExecutor 执行，如下图所示。