华为云DLI Flink作业生产环境配置推荐指南有哪些?
- 内容介绍
- 文章标签
- 相关推荐
本文共计714个文字,预计阅读时间需要3分钟。
1. 客户需在消息通知服务(SMN)中创建一个【主题】,并将客户指定的邮箱或手机号添加到主题订阅中。这样,指定的邮箱或手机号将收到申请订阅的通知,点击链接即可确认。
1. 首先客户需要在消息通知服务(SMN)中提前创建一个,并将客户指定的邮箱或者手机号添加到主题订阅中。这时候指定的邮箱或者手机会收到请求订阅的通知,点击链接确认订阅即可。
2. 创建Flink SQL作业,编写作业SQL完成后,配置。
2.1 配置作业的、与,依据如下公式:
CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数
例如:CU数量为9CU,管理单元为1CU,最大并行数为16,则计算单元为8CU。
如果不手动配置TaskManager资源,则单TM所占CU数默认为1,单TM slot数显示值为0,实际值依据上述公式计算结果为 16÷(9-1)=2。
2.2 勾选按钮,选择一个OBS桶。如该桶未授权,需点击。此项配置可以在作业异常失败后将作业日志保存到客户的OBS桶下,方便客户定位故障原因。
2.3 勾选选项,选择前述步骤创建的。此项配置可以在作业异常情况下,向客户指定邮箱或者手机发送消息通知,方便客户及时感知异常。
2.4 勾选选项,依据自身业务情况调整Checkpoint间隔和模式。Flink checkpoint机制可以保证Flink任务突然失败时,能够从最近的Checkpoint进行状态恢复重启。
说明:
- 此处的Checkpoint间隔为两次触发Checkpoint的间隔,执行checkpoint会影响实时计算性能,配置间隔时间需权衡对业务的性能影响及恢复时长,最好大于Checkpoint的完成时间,建议设置为5min。
本文共计714个文字,预计阅读时间需要3分钟。
1. 客户需在消息通知服务(SMN)中创建一个【主题】,并将客户指定的邮箱或手机号添加到主题订阅中。这样,指定的邮箱或手机号将收到申请订阅的通知,点击链接即可确认。
1. 首先客户需要在消息通知服务(SMN)中提前创建一个,并将客户指定的邮箱或者手机号添加到主题订阅中。这时候指定的邮箱或者手机会收到请求订阅的通知,点击链接确认订阅即可。
2. 创建Flink SQL作业,编写作业SQL完成后,配置。
2.1 配置作业的、与,依据如下公式:
CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数
例如:CU数量为9CU,管理单元为1CU,最大并行数为16,则计算单元为8CU。
如果不手动配置TaskManager资源,则单TM所占CU数默认为1,单TM slot数显示值为0,实际值依据上述公式计算结果为 16÷(9-1)=2。
2.2 勾选按钮,选择一个OBS桶。如该桶未授权,需点击。此项配置可以在作业异常失败后将作业日志保存到客户的OBS桶下,方便客户定位故障原因。
2.3 勾选选项,选择前述步骤创建的。此项配置可以在作业异常情况下,向客户指定邮箱或者手机发送消息通知,方便客户及时感知异常。
2.4 勾选选项,依据自身业务情况调整Checkpoint间隔和模式。Flink checkpoint机制可以保证Flink任务突然失败时,能够从最近的Checkpoint进行状态恢复重启。
说明:
- 此处的Checkpoint间隔为两次触发Checkpoint的间隔,执行checkpoint会影响实时计算性能,配置间隔时间需权衡对业务的性能影响及恢复时长,最好大于Checkpoint的完成时间,建议设置为5min。

