Flink资源管理详解中，如何实现动态调整任务资源分配的复杂策略？

本文共计2805个文字，预计阅读时间需要12分钟。

大家好，我是小寒。在Flink中提交作业到Flink集群后，Flink集群是如何为作业分配资源，以及如何管理集群资源的呢？今天我们就来聊聊Flink资源管理相关的内容。

大家好，我是小寒~

在 Flink 中提交作业到 Flink 集群后， Flink 集群是如何为作业分配资源，以及如何管理集群资源的呢？今天我们就来聊一聊 Flink 资源管理相关的内容。

2022 大数据学习路线图

原文链接

资源管理 资源抽象

Flink 涉及的资源分为两级：集群资源和Flink自身资源。

集群资源管理的是硬件资源，包括 CPU、内存、GPU等，由资源管理框架（Yarn、K8s、Mesos）来管理，Flink 从资源管理框架中申请和释放资源。

Flink 从资源管理框架申请资源容器（Yarn 中的 Container），一个容器中运行一个TaskManager 进程。容器的资源对 Flink 来说也是比较粗粒度的。因为计算类型的不同，一个任务占用一个容器可能无法充分利用资源，所以单个容器会被多个Flink 的任务共享。

Flink 对申请到的资源进行切分，每一份叫作 TaskSlot。

从总体上来说，在资源管理中涉及了 JobMaster、ResourceManager、TaskManager 三种角色。