首页 > 代码库 > spark单机模式
spark单机模式
1、下载spark,解压
2、复制conf/spark-env.sh和conf/log4j.properties
cp spark-env.sh.template spark-env.shcp log4j.properties.template log4j.properties
3、编辑spark-env.sh,设置SPARK_LOCAL_IP,docker-1为主机名,对应IP为10.10.20.204
export SPARK_LOCAL_IP=docker-1
4、运行example,执行如下命令
bin/run-example org.apache.spark.examples.SparkPi
5、启动shell
bin/spark-shell
6、访问ui,http://10.10.20.204:4040
spark单机模式
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。