华为云FusionInsight MRS的Superior Scheduler自研超级调度器有何技术亮点？

本文共计2401个文字，预计阅读时间需要10分钟。

Superior Scheduler是一款针对Hadoop+YARN分布式资源管理系统的调度引擎，专为满足企业客户对资源池的整合和多租户业务需求而设计的高性能企业级调度器。它支持开源调度功能。

Superior Scheduler是一个专门为Hadoop YARN分布式资源管理系统设计的调度引擎，是针对企业客户融合资源池，多租户的业务诉求而设计的高性能企业级调度器。

Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相较于开源调度器，Superior Scheduler在企业级多租户调度策略、租户内多用户资源隔离和共享、调度性能、系统资源利用率和支持大集群扩展性方面都做了针对性的增强。设计的目标是让Superior Scheduler直接替代开源调度器。

类似于开源Fair Scheduler和Capacity Scheduler，Superior Scheduler通过YARN调度器插件接口与YARN Resource Manager组件进行交互，以提供资源调度功能。下图为其整体系统架构：

Superior Scheduler的主要模块如下：

• Superior Scheduler Engine：具有丰富调度策略的高性能调度器引擎。
• Superior YARN Scheduler Plugin：YARN Resource Manager和Superior Scheduler Engine之间的桥梁，负责同YARN Resource Manager交互。