首页 > 代码库 > Spark1.0.0 分布式环境搭建
Spark1.0.0 分布式环境搭建
软件版本如下:
Hostname | IP | Hadoop版本 | Hadoop | 功能 | 系统 |
master | 192.168.119.128 | 1.1.2 | namenode | jdk1.6+hadoop+scala2.9.3+spark1.0.0 | centos4.9 |
|
|
|
|
|
|
slave1 | 192.168.119.129 | 1.1.2 | datanode | jdk1.6+hadoop+scala2.9.3+spark1.0.0 | centos4.9 |
|
|
|
|
|
|
slave2 | 192.168.119.130 | 1.1.2 | datanode | jdk1.6+hadoop+scala2.9.3+spark1.0.0 | centos4.9 |
1 首先搭建hadoop环境,这里不详细说,网上很多。
2 然后安装scala环境,很简单和配置jdk类似
2.1 下载scala 安装包 2.9.3
http://www.scala-lang.org/download/2.9.3.html#Software_Requirements
2.2 下载的 scala-2.9.3.tgz ftp 到master机
目录为 /home/bigdata/
2.3 进入目录 /home/bigdata/
tar -zxf scala-2.9.3.tgz
mv scala-2.9.3 scala
/home/bigdata/scala (配置目录)
2.4 配置环境变量(分别到3台机器配置)
vi /etc/profile
export SCALA_HOME=/home/bigdata/scala
export PATH=$PATH:$SCALA_HOME/bin
source /etc/profile
2.5 检测是否配置成功
scala -version
Scala code runner version 2.9.3 -- Copyright 2002-2011, LAMP/EPFL
表示安装成功
2.6 远程复制到其它机:(结构目录和master一致)
scp -r /home/bigdata/scala root@192.168.119.129:/home/bigdata/
scp -r /home/bigdata/scala root@192.168.119.130:/home/bigdata/
3 配置spark
3. 1 下载spark 1.0.0 http://spark.apache.org/downloads.html
3.2 复制包到 spark-1.0.0-bin-hadoop1.tgz 中
目录为:/home/bigdata/
3.3 进入目录 /home/bigdata/
tar -zxf spark-1.0.0-bin-hadoop1.tgz
mv spark-1.0.0-bin-hadoop1 spark-hadoop1
得到 /home/bigdata/spark-hadoop1 (配置路径)
3.4 配置用户环境变量 (分别配置3台机器)
vi ~/.bash_profile
export SPARK_HOME=/home/bigdata/spark-hadoop1
export PATH=$PATH:$SPARK_HOME/bin
source ~/.bash_profile
3.5 在conf 中设置scala
cd /home/bigdata/spark-hadoop1/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
添加
export JAVA_HOME=/home/bigdata/jdk(Jdk安装路径)
export SCALA_HOME=/home/bigdata/scala(scala 安装路径)
3.6 复制到其它机器
scp -r /home/bigdata/spark-hadoop1 root@slave1:/home/bigdata/
scp -r /home/bigdata/spark-hadoop1 root@slave2:/home/bigdata/
4 启动hadoop集群
5 启动spark 集群
在master 机进入目录 /home/bigdata/spark-hadoop1/sbin
sh start-all.sh
jps
5704 DataNode
6021 TaskTracker
5587 NameNode
5898 JobTracker
5810 SecondaryNameNode
6374 Worker
6457 Jps
6239 Master
6 启动web访问页面 http://master:8080/
进入 /home/bigdatat//spark-hadoop1/bin/ spark-shell
参考:点击打开链接