首页 > 代码库 > cdh 上安装spark on yarn
cdh 上安装spark on yarn
在cdh 上安装spark on yarn 还是比较简单的,不需要独立安装什么模块或者组件。
安装服务 选择on yarn 模式:上面 Spark
在spark 服务中添加
在yarn 服务中添加 getWay
后重新 启动服务端
用hdfs 用户进入 spark bin 目录
cd /opt/cloudera/parcels/CDH/lib/spark/bin
执行
./spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/lib/spark-examples.jar 10
执行后查看状态:
查看Executors
cdh 上安装spark on yarn
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。