当前位置：首页 > news >正文

spark 整合 yarn

news 2025/7/8 19:52:40

spark 整合 yarn

1、在master节点上停止spark集群
cd /usr/local/soft/spark-2.4.5/sbin

./stop-all.sh

2、spark整合yarn只需要在一个节点整合, 可以删除node1 和node2中所有的spark文件

   分别在node1、node2 的/usr/local/soft目录运行
   rm -rf spark-2.4.5/

3、进入 /spark-2.4.5/conf目录，增加 hadoop 配置文件地址
cp /usr/local/soft/spark-2.4.5/conf

   vim spark-env.sh

直接在文件最后加上
export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.7.6/etc/hadoop

4、进入/usr/local/soft/hadoop-2.7.6/etc/hadoop目录，修改yarn-site.xml文件（往yarn提交任务需要增加两个配置）

先关闭yarn
   stop-all.sh

   cd /usr/local/soft/hadoop-2.7.6/etc/hadoop

   vim yarn-site.xml


   在<configuration> </configuration>之间加上 :
   <property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
   </property>

   <property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
   </property>

5、同步到其他节点
   cd /usr/local/soft/hadoop-2.7.6/etc/hadoop

   scp -r yarn-site.xml node1:`pwd`
   scp -r yarn-site.xml node2:`pwd`

   再启动yarn
   start-all.sh


   master:50070 -- 检查HDFS
   master:8088 -- 检查Yarn


6、测试
spark有两种模式 :
(1) standalone client模式日志在本地输出，一般用于上线前测试(bin/下执行)

cd /usr/local/soft/spark-2.4.5/examples/jars

提交spark任务
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client spark-examples_2.11-2.4.5.jar 100

   (2) standalone cluster模式上线使用，不会再本地打印日志减少io

   cd /usr/local/soft/spark-2.4.5/examples/jars

   提交spark任务
   spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster spark-examples_2.11-2.4.5.jar 100



   获取yarn程序 cluster模式下的执行日志，执行成功之后才能获取到
   yarn logs -applicationId application_1560967444524_0003