欢迎转载，转载请注明出处，徽沪一郎。

概要

本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark officical document上的来做，总会出现这样或那样的编译错误，让人懊恼不已。

今天闲来无事，又重试了一把，居然o了，做个记录，以备后用。

准备

我的编译机器上安装的Linux是archlinux，并安装后如下软件

1. scala 2.11
2. maven
3. git

下载源码

第一步当然是将github上的源码下载下来

git clone https://github.com/apache/spark.git

 源码编译

不是直接用maven也不是直接用sbt，而是使用spark中自带的编译脚本make-distribution.sh

export SCALA_HOME=/usr/share/scala
cd $SPARK_HOME
./make-distribution.sh

如果一切顺利，会在$SPARK_HOME/assembly/target/scala-2.10目录下生成目标文件，比如

assembly/target/scala-2.10/spark-assembly-1.0.0-SNAPSHOT-hadoop1.0.4.jar