Spark资源调度Cluster模式中Driver启动及两种资源分配机制详解？

本文共计1392个文字，预计阅读时间需要6分钟。

资源调度管理+任务调度与资源调度是通过DAGScheduler、TaskScheduler、SchedulerBackend等组件进行的工作调度+资源调度是指应用程序如何获取资源+任务调度是在资源调度基础上进行的，没有资源调度

资源调度管理

任务调度与资源是通过DAGScheduler、TaskScheduler、SchedulerBackend等进行的作业调度

资源调度是指应用程序如何获得资源

任务调度是在资源调度的基础上进行的，没有资源调度那么任务调度就成为了无源之水无本之木

Master 资源调度的源码鉴赏

因為 Master 負責資源管理和調度，所以資源調度方法 scheduer 位於 Master.scala 這個類中，當注册程序或者資源發生改變的時候都會導致 Scheduler 的調用，例如注册的時候。