Azkaban是什么?一个用于大数据作业调度的开源平台吗?

2026-04-11 06:261阅读0评论SEO资讯
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计462个文字,预计阅读时间需要2分钟。

Azkaban是什么?一个用于大数据作业调度的开源平台吗?

1. Azkaban特点:兼容各种版本的hadoop,易于使用的Web用户界面,简单的作业流上传,方便设置任务间的关系,调度工作流,模块化和可插拔的插件机制,认证/授权(限权的工作)。

1、Azkaban特点
  1. 兼容任何版本的hadoop
  1. 易于使用的Web用户界面
  1. 简单的工作流的上传
  1. 方便设置任务之间的关系
  1. 调度工作流
  1. 模块化和可插拔的插件机制
  1. 认证/授权(权限的工作)
  1. 能够杀死并重新启动工作流
  1. 有关失败和成功的电子邮件提醒
2、Azkaban的架构 Azkaban由三个关键组件构成:
  • AzkabanWebServer:AzkabanWebServer是整个Azkaban工作流系统的主要管理者,它用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务。
  • AzkabanExecutorServer:负责具体的工作流的提交、执行,它们通过mysql数据库来协调任务的执行。
  • 关系型数据库(MySQL):存储大部分执行流状态,AzkabanWebServer和AzkabanExecutorServer都需要访问数据库。

Azkaban是什么?一个用于大数据作业调度的开源平台吗?

本文共计462个文字,预计阅读时间需要2分钟。

Azkaban是什么?一个用于大数据作业调度的开源平台吗?

1. Azkaban特点:兼容各种版本的hadoop,易于使用的Web用户界面,简单的作业流上传,方便设置任务间的关系,调度工作流,模块化和可插拔的插件机制,认证/授权(限权的工作)。

1、Azkaban特点
  1. 兼容任何版本的hadoop
  1. 易于使用的Web用户界面
  1. 简单的工作流的上传
  1. 方便设置任务之间的关系
  1. 调度工作流
  1. 模块化和可插拔的插件机制
  1. 认证/授权(权限的工作)
  1. 能够杀死并重新启动工作流
  1. 有关失败和成功的电子邮件提醒
2、Azkaban的架构 Azkaban由三个关键组件构成:
  • AzkabanWebServer:AzkabanWebServer是整个Azkaban工作流系统的主要管理者,它用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务。
  • AzkabanExecutorServer:负责具体的工作流的提交、执行,它们通过mysql数据库来协调任务的执行。
  • 关系型数据库(MySQL):存储大部分执行流状态,AzkabanWebServer和AzkabanExecutorServer都需要访问数据库。

Azkaban是什么?一个用于大数据作业调度的开源平台吗?