首页 > 代码库 > 32位Ubuntu12.04搭建Hadoop2.5.1完全分布式环境
32位Ubuntu12.04搭建Hadoop2.5.1完全分布式环境
准备工作
1、准备安装环境:
4台PC,均安装32位Ubuntu12.04操作系统,统一用户名和密码
交换机1台
网线5根,4根分别用于PC与交换机相连,1根网线连接交换机和实验室网口
2、使用ifconfig查看各PC的IP地址,并确保可以相互ping通
pc1 192.168.108.101pc2 192.168.108.146pc3 192.168.108.200pc4 192.168.108.211
3、安装jdk,下载jdk-7u71-linux-i586.tar.gz,拷贝到你想安装的目录,解压
tar -xzvf jdk-7u71-linux-i586.tar.gz
然后sudo vim /etc/profile,配置JAVA_HOME,CLASSPATH,PATH,在尾部添加
JAVA_HOME=/home/g308/Software/jdk1.7.0_71PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/libexport JAVA_HOME PATH CLASSPATH
使用java -version进行验证,确保版本号为java version "1.7.0_71"
4、配置SSH免登陆
首先各台PC安装SSH,并启动服务,sudo apt-get install openssh-server,一般会默认启动
使用“ssh 用户名@某PC的IP地址”来进行验证
然后在你要选定Master节点(PC1)上生成密钥(私钥+公钥),然后分发公钥到各个Slave节点(PC2,PC3,PC4)
// 若无.ssh目录,则首先mkdir .sshcd ~/.sshssh-keygen -t rsacp id_rsa.pub authorized_keys// 使用xxx代表用户名scp authorized_keys xxx@192.168.108.146:/home/xxx/.ssh/scp authorized_keys xxx@192.168.108.200:/home/xxx/.ssh/scp authorized_keys xxx@192.168.108.211:/home/xxx/.ssh/
验证测试,在pc1上“ssh 用户名@某PC的IP地址”,若不用输入密码就能登录成功,则表示配置成功
安装Hadoop2.5.1
1、下载hadoop-2.5.0.tar.gz,解压,然后放到你的一个制定目录即可
cp hadoop-2.5.0.tar.gz /home/xxx/Softwarecd /home/xxx/Softwaretar -xzvf hadoop-2.5.0.tar.gz
2、配置/etc/profile中的环境变量
HADOOP_HOME=/home/g308/Software/hadoop-2.5.1PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_HOME PATH
3、依次配置hadoop-2.5.1/etc/hadoop下的各个配置文件
配置前说明:4台pc中,pc1为master节点,pc2、pc3、pc4为slaves节点
slaves
192.168.108.146192.168.108.200192.168.108.211
core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/xxx/Software/hadoop_dir/tmp</value> </property> <property> <name>fs.default.name</name> <value>hdfs://192.168.108.101:9000</value> </property></configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/home/xxx/Software/hadoop_dir/dfs/name</value> </property> <property> <name>dfs.namenode.data.dir</name> <value>/home/xxx/Software/hadoop_dir/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property></configuration>
mapred-site.xml.template
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>192.168.108.101:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>192.168.108.101:19888</value> </property></configuration>
yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>192.168.108.101:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>192.168.108.101:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>192.168.108.101:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>192.168.108.101:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>192.168.108.101:8088</value> </property></configuration>
修改hadoop-env.sh和yarn-env.sh中的JAVA_HOME变量为绝对路径
export JAVA_HOME=/home/xxx/Software/jdk1.7.0_71
4、将hadoop-2.5.1文件夹拷贝到各个slaves节点上的相同目录下
hadoop的运行
hadoop namenode -formatsbin/start-dfs.shsbin/start-yarn.sh
启动之后,分别在namenode和datanode上使用jps查看是否正常启动
32位操作系统带来的native library大坑
这里要仔细说下,因为坑爹的32位导致了很多坑,所以在此建议如果要装hadoop2.5.1环境的,建议先把操作系统换位64位的吧
先贴一下在32位操作系统上,用自带的64位native library会有什么问题,下面的这个警告将会伴随你的每一步hadoop操作
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
首先介绍下Hadoop的native library,摘录官网上的两句话如下:
1、Hadoop has native implementations of certain components for reasons of both performance and non-availability of Java implementations. These components are available in a single, dynamically-linked, native library. On the *nix platform it is libhadoop.so.2、Hadoop native library is written in ANSI C and built using the GNU autotools-chain (autoconf, autoheader, automake, autoscan, libtool). This means it should be straight-forward to build them on any platform with a standards compliant C compiler and the GNU autotools-chain.
第一句告诉我们考虑到性能和java实现的不可用两个原因,才有了native library,其实动态链接的,也就是操作系统相关的,在*nix平台上为libhadoop.so等文件。
第二句告诉了我们,native library是用C实现的,如果你要源码编译的话,你至少得需要这些包autoconf,autoheader,automake,autoscan,libtool。
操作系统分为32位和64位,而hadoop默认提供的native library要么为32位要么为64位,在2.2.0之前版本均为32位,但之后有都为64位的。所以网上一搜hadoop native library错误的,大多数都是如何在64位操作系统上编译hadoop源码,而到了2.5.1,这个就又变成了在32位上编译hadoop源码了,所以操作系统选择要慎重,会省很多事。
所以,既然当初已经选了32位操作系统,所以只能老老实实的编译hadoop2.5.1源码了。。。。。。
Hadoop2.5.1源码编译
1、下载hadoop-2.5.1-src.tar.gz,并解压
2、准备包
首先去hadoop官网上查下如何成为一名贡献者,因为你要贡献代码的话,肯定会把代码checkout下来编译的,所以文档里肯定会有。
在文档http://wiki.apache.org/hadoop/HowToContribute里发现如下一段:
On Linux, you need the tools to create the native libraries: LZO headers,zlib headers, gcc, OpenSSL headers, cmake, protobuf dev tools, and libtool, and the GNU autotools (automake, autoconf, etc).For Debian and Ubuntu:
apt-get -y install maven build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
先执行吧,这些都是必需的,当然还不够。
hadoop使用java写的,ant这个java build工具不能少吧,使用如下代码安装:
apt-get install ant
然后在编译源码的错误输出中,又发现了两个必需的包(坑了我一天的两个包),FindBugs 3.0.0 和 Protobuf 2.5.0。google一搜,去官网下即可,但是FindBugs是在sourceforge上的,没被墙,而Protobuf在code.google上,有可能被墙,所以直接搜protobuf-2.5.0.tar.gz吧,CSDN上下的也行
FindBugs 3.0.0
cd /home/xxx/Software/tar zxvf findbugs-3.0.0.tar.gz
// /etc/profile中配置环境变量export FINDBUGS_HOME=/home/xxx/Software/findbugs-3.0.0export PATH=$FINDBUGS_HOME/bin:$PATH
Protobuf 2.5.0
tar zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure --prefix=/home/xxx/Software
make && make install
// /etc/profile中配置环境变量
PROTOBUF_HOME=/home/g308/Software/protobuf
export PATH=$PROTOBUF_HOME/bin:$PATH
注意:/home/xxx/Software该目录可自己指定
3、编译
tar zxvf hadoop-2.5.1-src.tar.gzcd hadoop-2.5.1-srcmvn package -Pdist,native,docs -DskipTests -Dtar
然后,就坐等1个小时后的一路SUCCESS就可以了
填上native library的坑
用hadoop-2.5.1-src/hadoop-dist/target/hadoop-2.5.1/lib/native下的native library替换掉hadoop安装目录下的/lib/native中的native library。重新启动hadoop,那个烦人的native library warn将永远的消失了。
至此,32位Ubuntu12.04搭建Hadoop2.5.1完全分布式环境搭建成功。运行examples中的wordcount测试一下吧
32位Ubuntu12.04搭建Hadoop2.5.1完全分布式环境