首页 > 代码库 > Spark 1.0.1源码安装
Spark 1.0.1源码安装
apache 网站上面已经有了已经构建好了的版本,我这里还是自己利用午休时间重新构建一下(jdk,python,scala的安装就省略了,自己可以去安装)
http://www.apache.org/dist/spark/spark-1.0.1/ 具体官网的下载链接可以去这里
我下载的是http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgz源码包
下载对应的linux服务器上面,然后解压
wget http://www.apache.org/dist/spark/spark-1.0.1/spark-1.0.1.tgztar zxf spark-1.0.1.tgz cd spark-1.0.1
我们可以大概的ls浏览一下目录中有哪些文件,心中有个数
如果想要构建对应的安装包,apache已经为我们提供了一个构建脚本make-distribution.sh(也可以自己去参考官方提供的文档http://spark.apache.org/docs/latest/building-with-maven.html 不过脚本里面都给我们封装好了)
可以查看下脚本,里面肯定有介绍怎么用,看到下面这一段
# Optional Arguments # --tgz: Additionally creates spark-$VERSION-bin.tar.gz # --hadoop VERSION: Builds against specified version of Hadoop. # --with-yarn: Enables support for Hadoop YARN. # --with-hive: Enable support for reading Hive tables. # --name: A moniker for the release target. Defaults to the Hadoop verison.
下面我们开始执行构建命令
sh make-distribution.sh --hadoop 2.2.0 --with-yarn --with-hive --tgz
漫长的等待......
公司网络真慢,maven下载一些依赖要下老半天,人家午休都睡醒了,我还在呆呆的看着屏幕在滚,shit...
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。