Apache Spark1.1.0部署与开发环境搭建 - Mark Lin

0. 准备

出于学习目的，本文将Spark部署在虚拟机中。在虚拟机中，需要安装以下软件：

• Ubuntu 14.04
• hadoop-2.4.0.tar.gz
• jdk-7u67-linux-x64.tar.gz  
• scala-2.10.4.tgz
• spark-1.1.0-bin-hadoop2.4.tgz

1. 安装JDK

   ....

2. 安装及配置SSH

....

3. 安装hadoop2.4.0

  ....

4. 安装scala

@下载编译好的spark，通过查看pom.xml文件得到对应Scala的版本号；

@下载对应scala：

@解压，设置环境变量：

    source /etc/profile

@测试Scala：

[root@hadoop0 local]# source /etc/profile[root@hadoop0 local]# scala -versionScala code runner version 2.10.4 -- Copyright 2002-2013, LAMP/EPFL

5.安装spark

@解压，设置环境变量

@ $SPARK_HOME/conf/ spark-env.sh 

export SCALA_HOME=/usr/local/scalexport JAVA_HOME=/usr/local/jdkexport SPARK_MASTER_IP=localhostexport SPARK_WORKER_MEMORY=1000m

 6.spark启动和测试：

启动：

#到spark安装目录下：sbin/start-all.sh

 测试：

bin/run-example SparkPi