首页 > 代码库 > Spark中的local模式的配置以及测试
Spark中的local模式的配置以及测试
一:介绍
1.Spark的模式
Local:本地运行模式,主要用于开发、测试
Standalone:使用Spark自带的资源管理框架运行Spark程序,30%左右
Yarn: 将spark应用程序运行在yarn上,绝大多数使用情况,60%左右
Mesos:
二:安装
1.解压
2.建立软连接
3.复制配置文件
4.修改env.sh文件
三:运行测试
1.启动HDFS
2.准备测试路径
3.开始测试
./run-example SparkPi 10<----------------10代表迭代的次数
4.shell的测试
5.shell效果
Spark中的local模式的配置以及测试
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。