首页 > 代码库 > Spark本地安装和简单示例
Spark本地安装和简单示例
sudo yum install java-1.7.0-openjdk.i686 sudo yum install maven-noarch maven-release-manager.noarch maven-release-plugin.noarch sudo yum install scala.noarch
Spark是基于内存的大数据分析平台，由UC Berkely AMP lab发布的一大神器。相比Hadoop而言，其最大的优势是基于内存，这样可以极大提高其速度和通用性。
安装环境
在Windows平台上需要借助Eclipse来进行编译，比较麻烦，所以这里是在Linux平台上搭建的，具体环境如下：
1. 系统：Fedora release 20 (Heisenbug)
2. Spark：spark-1.2.0 http://spark.apache.org/
3. Maven：3.1.1
4. Scala：2.10.3
5. Java：1.7.0
安装步骤
Linux的发行版本都有各种通用的包管理器，比如Fedora的yum、Debian的apt等。通过这些工具，安装前的环境可以很快搭建完成：
环境搭建完成后，就到spark的官网http://spark.apache.org/下载最新版本的压缩包。截止2015年1月20日，最新的压缩包为spark-1.2.0.tgz。可以通过下面的命令来解压缩：
tar xvf spark-1.2.0.tgz
解压完成后，需要通过mvn命令来编译和打包：
cd spark-1.2.0 mvn -DskipTests clean package
该命令会下载很多依赖包，然后进行构建。整个过程大概需要10几分钟。
运行示例代码
安装完成后可以运行第一个示例：
./bin/run-example SparkPi 10
要是不出意外的话，你会得到下面的错误消息：
...java.net.UnkownHostException: unknown host: namenode
要是没有错误，很有可能是因为你之前已经安装过Hadoop。这个namenode错误是因为Spark的默认运行配置是conf/spark-defaults.conf。其中有一个变量的设置是这样的：
spark.eventLog.dir hdfs://localhost:8021/directory
害人不浅啊。花了哥半个小时才想明白，果断改成/var/tmp然后就ok了。
改好后重新运行可以得到下面的输出：
Pi is roughly 3.139344
如果把10改成100，将能得到更加精确的值：
Pi is roughly 3.1418872
第一个spark应用
下面这个程序改编自Spark的官方文档，主要是尝试python在spark上的接口：
from pyspark import SparkContext
logFile = "/path/to/one/text/file" # Should be some file on your system
sc = SparkContext("local", "Simple App")
logData = http://www.mamicode.com/sc.textFile(logFile).cache()>
保存为simpleapp.py，然后运行如下：$ pyspark simpleapp.py
Lines containing Spark: 19
访问本人新博客获得更多信息：magic01Spark本地安装和简单示例
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。