首页 > 代码库 > Spark1.0.0源码阅读环境搭建(win7)

Spark1.0.0源码阅读环境搭建(win7)

准备工作:

jdk-7u51-windows-i586.exe
scala-2.10.3.msi
sbt-0.13.2.msi
spark-1.0.0.tgz

scala-SDK-3.0.3-2.10-win32.win32.x86.zip

1.1. 安装JDK

安装jdk-7u51-windows-i586.exe,按默认设置即可。假设安装至目录d:\jdk1.7

安装结束后,将d:\jdk1.7\bin添加至环境变量PATH中;

1.2. 安装Scala

安装scala-2.10.3.msi,按默认设置即可。假设安装至目录d:\scala2.10.3

安装结束后可以在cmd窗口执行:

 

可以看到安装的scala版本号;

1.3. 安装sbt

安装sbt-0.13.2.msi,按默认设置即可。假设安装至目录d:\sbt0.13.2

安装结束后可以在cmd窗口执行:

 

可以看到安装的sbt的版本号;

1.4. 安装Scala-SDK

直接解压scala-SDK-3.0.3-2.10-win32.win32.x86.zip即可。

 

1.5. 为Spark创建eclipse工程文件

直接解压spark-1.0.0.tgz,至工程目录,比如e:\java\spark

 

在该目录下面执行sbt,编译(耗时较长,耐心等待,直至出现提示符):

 

在该提示符下面执行eclipse命令,生成eclipse工程文件(这一步耗时更长,耐心等待, 直接再次出现提示符)。

最后打开Scala-SDK,导入Spark工程:

 

2. 问题

1.5步很可能出现连接超时的问题,如果上外网需要代理,那么需要修改d:\sbt0.13.2\conf\sbtconfig.txt文件。增加如下代理设置:

# Set the java args to high

-Xmx512M

-XX:MaxPermSize=256m

-XX:ReservedCodeCacheSize=128m

 

# Set the extra SBT options

-Dsbt.log.format=true

-Dsbt.boot.directory=D:/sbt0.13.2/sbt/boot/

-Dsbt.ivy.home=D:/sbt0.13.2/sbt

 

-Dhttp.proxyHost=*****

-Dhttp.proxyPort=80

-Dhttps.proxyHost=******

-Dhttps.proxyPort=80

注意httphttps都要添加。

如果没有代理还连接超时,那么只能多试几次了,还是能成功的。