首页 > 代码库 > spark伪分布式的安装
spark伪分布式的安装
不依赖hadoop
百度分享安装包地址：http://pan.baidu.com/s/1dD4BcGT 点击打开链接
解压 并重命名：
进入spark100目录：
修改配置：
Cd conf
配置单击节点，故只需要写本机的hostname就可以了。
重命名Spark-env.sh.template 为 spark-env.sh
增加配置项：
- export SPARK_MASTER_IP=icity1
- export SPARK_MASTER_PORT=7077
- export SPARK_WORKER_CORES=1
- export SPARK_WORKER_INSTANCES=1
- export SPARK_WORKER_MEMORY=1g
- export JAVA_HOME=/jdk/jdk1.7.0_65(提前配置好java环境)
如图所示：
启动
监控页面效果：
进入spark-shell：（运行完后点击回车键就可以写scala代码）
选用了外部文件：
区别于hdfs的读取方式：
退出spark-shell：exit
- 顶
spark伪分布式的安装
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。