首页 > 代码库 > 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)
从控制台可以看到我们的程序成功在集群上运行:
Detail for stage 1:
Detail for Stage 0:
查看一下Executors的信息:
上述信息表明程序成功在Spark集群上运行。
第四步:基于IDEA构建Spark开发环境
1,下载IDEA13.1.4社区版本“Community Edition FREE”
http://www.jetbrains.com/idea/download/
2,安装IDEA并配置IDEA系统环境变量
具体安装和配置过程请参考【Spark亚太研究院系列丛书】-第一章 构建Spark集群(第四步)http://down.51cto.com/data/1848627
3,使用IDEA开发Spark程序,我们这里使用SparkPi来验证开发环境
具体开发和配置过程请参考【Spark亚太研究院系列丛书】-第一章 构建Spark集群(第四步)http://down.51cto.com/data/1848627
4,通过IDEA在集群上运行程序,此时需要加入
“conf.setMaster(“spark://192.168.35.129:7077”)”
运行之即可。
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。