Spark学习笔记——安装和WordCount

2024-09-12 05:00:49 215人阅读

1.去清华的镜像站点下载文件spark-2.1.0-bin-hadoop2.7.tgz，因为hadoop安装的是2.7.2的版本

2.把文件解压到/usr/local目录下，解压之后的效果，Hadoop和Spark都在Hadoop用户下

drwxrwxrwx 12 hadoop hadoop 4096 12月 16 10:18 spark-2.1.0-bin-hadoop2.7/

添加Hadoop用户和用户组

$ sudo addgroup hadoop
$ sudo adduser --ingroup hadoop hadoop
$ sudo adduser hadoop sudo

然后修改文件夹的用户，用户组以及权限

sudo chown -R hduser:hadoop hadoop
sudo chmod 777 hadoop/

Hadoop文件夹如果权限不对的话，也需要修改

3.在/etc/profile下添加路径

export SPARK_HOME=/usr/local/spark-2.1.0-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH

4.在~/coding/coding/Scala/word-count路径下准备一个文本文件，比如test.segmented文件

5.在该目录下，在终端运行 spark-shell

技术分享

创建一个RDD

scala> val textFile = sc.textFile("file:///home/common/coding/coding/Scala/word-count/test.segmented")

保存RDD成文件

textFile.saveAsTextFile("file:///home/common/coding/coding/Scala/word-count/writeback")

这时候会发现在文件夹目录下多了writeback目录，目录下是这么几个文件

技术分享

Spark学习笔记——安装和WordCount

声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉：投诉/举报工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。

联系
我们