Spark中yarn模式两种提交任务方式 - 编程语言

博主:xiaoweixiaowei 2023-01-18 条评论

这篇文章主要介绍“Spark中yarn模式两种提交任务方式”,在日常操作中,相信很多人在Spark中yarn模式两种提交任务方式问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Spark中yarn模式两种提交任务方式”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

1.yarn-client提交任务方式

配置
在client节点配置中spark-env.sh添加Hadoop_HOME的配置目录即可提交yarn 任务,具体步骤如下:

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  • 1

注意client只需要有Spark的安装包即可提交任务,不需要其他配置(比如slaves)!!!

提交命令

/opt/spark/bin/spark-submit --master yarn  --class org.apache.spark.examples.SparkPi  /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar 100/opt/spark/bin/spark-submit   --master yarn-client   --class org.apache.spark.examples.SparkPi /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar 100/opt/spark/bin/spark-submit  --master yarn --deploy-mode  client --class org.apache.spark.examples.SparkPi /opt/spark/example

执行流程
– 1.客户端提交一个Application,在客户端启动一个Driver进程。
– 2.Driver进程会向RS(ResourceManager)发送请求,启动AM(ApplicationMaster)的资源。
– 3.RS收到请求,随机选择一台NM(NodeManager)启动AM。这里的NM相当于Standalone中的Worker节点。
– 4.AM启动后,会向RS请求一批container资源,用于启动Executor.
– 5.RS会找到一批NM返回给AM,用于启动Executor。
– 6.AM会向NM发送命令启动Executor。
– 7.Executor启动后,会反向注册给Driver,Driver发送task到Executor,执行情况和结果返回给Driver端。

总结

  • 1.Yarn-client模式同样是适用于测试,因为Driver运行在本地,Driver会与yarn集群中的Executor进行大量的通信,会造成客户机网卡流量的大量增加.

    Spark中yarn模式两种提交任务方式 - 编程语言
  • 2.ApplicationMaster的作用:
    为当前的Application申请资源
    给NodeManager发送消息启动Executor。

    注意:ApplicationMaster有launchExecutor和申请资源的功能,并没有作业调度的功能。

2.yarn-cluster提交任务方式

提交命令

/opt/spark/bin/spark-submit --master yarn --deploy-mode cluster  --class org.apache.spark.examples.SparkPi /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar  100/opt/spark/bin/spark-submit --master yarn-cluster  --class org.apache.spark.examples.SparkPi /opt/spark/examples/jars/spark-examples_2.11-2.2.0.jar 100

结果在yarn的日志里面:

到此,关于“Spark中yarn模式两种提交任务方式”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注云网站,小编会继续努力为大家带来更多实用的文章!

The End

发布于:2023-01-18,除非注明,否则均为 主机评测原创文章,转载请注明出处。