首页 > 代码库 > Spark 1.0.1源码安装

Spark 1.0.1源码安装

apache 网站上面已经有了已经构建好了的版本,我这里还是自己利用午休时间重新构建一下(jdk,python,scala的安装就省略了,自己可以去安装)

http://www.apache.org/dist/spark/spark-1.0.1/ 具体官网的下载链接可以去这里

我下载的是http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgz源码包

下载对应的linux服务器上面,然后解压

wget http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgztar zxf spark-1.0.1.tgz
cd spark-1.0.1

我们可以大概的ls浏览一下目录中有哪些文件,心中有个数

如果想要构建对应的安装包,apache已经为我们提供了一个构建脚本make-distribution.sh(也可以自己去参考官方提供的文档http://spark.apache.org/docs/latest/building-with-maven.html 不过脚本里面都给我们封装好了)

可以查看下脚本,里面肯定有介绍怎么用,看到下面这一段

# Optional Arguments
#      --tgz: Additionally creates spark-$VERSION-bin.tar.gz
#      --hadoop VERSION: Builds against specified version of Hadoop.
#      --with-yarn: Enables support for Hadoop YARN.
#      --with-hive: Enable support for reading Hive tables.
#      --name: A moniker for the release target. Defaults to the Hadoop verison.

下面我们开始执行构建命令

sh make-distribution.sh --hadoop 2.2.0 --with-yarn --with-hive --tgz

 漫长的等待......

 公司网络真慢,maven下载一些依赖要下老半天,人家午休都睡醒了,我还在呆呆的看着屏幕在滚,shit...