首页 > 代码库 > Spark中的local模式的配置以及测试

Spark中的local模式的配置以及测试

一:介绍

1.Spark的模式

  Local:本地运行模式,主要用于开发、测试
  Standalone:使用Spark自带的资源管理框架运行Spark程序,30%左右
  Yarn: 将spark应用程序运行在yarn上,绝大多数使用情况,60%左右
  Mesos:

 

二:安装

1.解压

  技术分享

 

2.建立软连接

  技术分享

 

3.复制配置文件

  技术分享

 

4.修改env.sh文件

  技术分享

 

 三:运行测试

1.启动HDFS

  技术分享

 

2.准备测试路径

  技术分享

 

3.开始测试  

  ./run-example SparkPi 10<----------------10代表迭代的次数

  技术分享

 

4.shell的测试

  技术分享

 

5.shell效果

  技术分享

 

Spark中的local模式的配置以及测试