首页 > 代码库 > cdh 上安装spark on yarn

cdh 上安装spark on yarn

在cdh 上安装spark on yarn 还是比较简单的,不需要独立安装什么模块或者组件。

安装服务 选择on yarn 模式:上面 Spark

技术分享

在spark 服务中添加

技术分享

在yarn 服务中添加 getWay 

技术分享

后重新 启动服务端

用hdfs 用户进入 spark bin 目录

cd /opt/cloudera/parcels/CDH/lib/spark/bin

执行

./spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/lib/spark-examples.jar 10

技术分享

执行后查看状态:

技术分享

查看Executors 

技术分享

 

技术分享

cdh 上安装spark on yarn