首页 > 代码库 > spark1.2.0编译
spark1.2.0编译
现在最新版本是1.2.0
我用的maven编译，官网有现成的编译命令
http://spark.apache.org/docs/latest/building-spark.html
我的hadoop是2.2.0，所以命令为：
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package
编译过程中遇到一个错误
网上的说法是：
找到 mllib\src\main\scala\org\apache\spark\mllib\optimization\Gradient.scala文件，把带有// Our loss function的两行移除
不过不靠谱，其实只要把breeze_2.10-0.10.jar自己下载拷到对应目录就行了
编译的jar包在 ./assembly/target/scala-2.10/ 目录下面
生成部署包
./make-distribution.sh --tgz
在根目录下面生成了一个binary包
spark1.2.0编译
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。