首页 > 代码库 > Anaconda中配置Pyspark的Spark开发环境
Anaconda中配置Pyspark的Spark开发环境
1.windows下载并安装Anaconda集成环境
https://www.continuum.io/downloads
2.在控制台中测试ipython是否启动正常
3.安装JDK
3.1环境变量配置:
3.2测试:
4.安装Spark并配置环境变量
4.1 URL: http://spark.apache.org/downloads.html
4.2解压到本地磁盘的对应目录
4.3配置环境变量
5.Pyspark配置
5.1配置如下系统变量
5.2修改spark\conf下的spark-env文件(不知道是否必要)
在文件末尾加入如下三行
export PYSPARK_PYTHON=/E:/ProgramCJ/Anaconda2
export PYSPARK_DRIVER_PYTHON=/E:/ProgramCJ/Anaconda2
export PYSPARK_SUBMIT_ARGS=‘--master local[*]‘
6.测试Pyspark是否安装成功
6.1命令行中输入pyspark测试
6.2 显示如下,并新建python root
6.3测试sc的spark变量是否可用
注意:下载Spark请选择已经编译好的版本,如果选择源码版本,请使用maven或sbt进行编译即可,方法为进入Spark安装目录,使用> sbt package 进行编译
Anaconda中配置Pyspark的Spark开发环境
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。