SparkSubmit通过Yarn提交作业的流程是怎样的？
- 内容介绍
- 文章标签
- 相关推荐
本文共计1814个文字，预计阅读时间需要8分钟。
SparkSubmit 提交流程解析及小贴士：分析基于以下执行命令启动：./spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ./examples/jars/spark-example_2.12-3.0.0.jar 10
首先执行了 spark-submit 命令，该命令用于提交 Spark 应用程序。--class 参数指定了主类名，这里是 org.apache.spark.examples.SparkPi，代表一个计算 Pi 的示例程序。--master 参数指定了集群模式，这里是 yarn，表示使用 Yarn 作为资源管理器。--deploy-mode 参数指定了部署模式，这里是 cluster，表示在集群模式下运行。./examples/jars/spark-example_2.12-3.0.0.jar 是 Spark 应用程序的 JAR 包路径。
10表示应用程序需要的 executor 数量。
本文共计1814个文字，预计阅读时间需要8分钟。
SparkSubmit 提交流程解析及小贴士：分析基于以下执行命令启动：./spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ./examples/jars/spark-example_2.12-3.0.0.jar 10
首先执行了 spark-submit 命令，该命令用于提交 Spark 应用程序。--class 参数指定了主类名，这里是 org.apache.spark.examples.SparkPi，代表一个计算 Pi 的示例程序。--master 参数指定了集群模式，这里是 yarn，表示使用 Yarn 作为资源管理器。--deploy-mode 参数指定了部署模式，这里是 cluster，表示在集群模式下运行。./examples/jars/spark-example_2.12-3.0.0.jar 是 Spark 应用程序的 JAR 包路径。
10表示应用程序需要的 executor 数量。