首页 > 代码库 > Ubuntu14.0上编译安装Hadoop
Ubuntu14.0上编译安装Hadoop
Ubuntu14.0上编译安装Hadoop
环境:
hadoop-2.5.0.tar
hadoop-2.5.0-src.tar
jdk-7u71-linux-x64
protobuf-2.5.0.tar
Maven3.0
安装步骤:
1 安装jdk ,配置环境变量
2 安装依赖包
3 安装maven
4安装protobuf-2.5.0.tar
5 编译Hadoop
6 安装hadoop
6.1 单机模式
6.2 伪分布模式
6.3 集群模式
1 安装jdk ,配置环境变量
下载jdk版本:jdk-7u71-linux-x64.gz默认下载放在Download目录下:
进入Download目录;
- 1解压jdk安装包到指定目录
sudo tar zxvf jdk-7u67-linux-x64.gz -C /usr/
默认把jdk放在、usr这个目录下
- 进入该目录下 重命名jdk,这一步给jdk重命名 如: jdk-1.7
sudo mv jdk-7u71-linux-x64.tar.gz jdk-1.7
- 配置环境变量
使用vim ~/.bashrc命令编辑 (vi下删除是x vim 下删除时退格键)可能需要安装vim : sudo apt-get install vim
在底部加入以下命令:
#set Java Environment
export JAVA_HOME=/usr/jdk-1.7
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
- 使用命令:source ~/.bashrc
.
将系统默认的jdk修改过来
sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_05/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_05/bin/javac 300
sudo update-alternatives --config java
sudo update-alternatives --config javac
来源: <http://blog.sina.com.cn/s/blog_675e4f240102uwim.html>
- 验证 在终端输入java 出现下面字段表示安装成功
2 安装依赖包
2.1
sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev
2.2因为还要用到ssh,所以如果机器上没有的话,装个openssh的客户端就好啦 (ubuntu 12.04应该预装了)
$ sudo apt-get install openssh-client
装server
$ sudo apt-get install openssh-server
3 安装maven
sudo apt-get install maven
测试:mvn --version
4 安装protobuf-2.5.0.tar
这个试了网上的很多方法:如
ar -xzf protobuf-2.1.0.tar.gz
cd protobuf-2.1.0
./configure --prefix=/usr/local/protobuf
make
make check
make install
但是最后都安装失败,最终用apt-get命令安装成功
安装Google ProtocolBuffer
$ sudo apt-get install protobuf-compiler
装完后确认版本是否满足安装指南BUILDING.txt里所指定的2.5.0版本的要求。
卸载 $ sudo apt-get remove protobuf-compiler
(在ubuntu12.04 server下装的这个软件包是2.4.1的, 某T同学在ubuntu 14.04 desktop下通过apt-get装的是2.5.0)
于是在ubuntu12.04 server下仍旧要去google code 找源码包编译。
来源: <https://www.evernote.com/shard/s341/sh/2e7bcfe5-0d1a-4faa-8be1-6b25304c4a77/a854b4141e743da683c5f8d386fd635d?content=>
5 编译Hadoop
最后(可能多次进入这个“最后”),cd 进 hadoop的源码根目录,查看 BUILDING.txt, 如果不习惯可以在宿主机用浏览器进hadoop的github里直接查看该文件的第165行到第167行,并了解一下maven生命周期之类的。
在hadoop源码的根目录执行
(若由于各种原因出错回到这一步,请先 $ mvn clean)
$ mvn package -Pdist,native -DskipTests -Dtar (这里我省略了src和doc)
11. 最后如果看到了这样的信息,就算Build完了, - -# 累。
[INFO]-------------------------
[INFO] BUILD SUCCESS
[INFO]-------------------------
[INFO] Total time: xx:xx min
(我的linux mint编译了27min,虚拟机上的ubuntu12编译了42min,求碾压级超越)
12. 编译的结果在源码根目录的hadoop-dist/target/里,在该目录下执行
$ hadoop-2.5.1/bin/hadoop version
可以看到hadoop版本信息和编译信息。
target 目录里枝繁叶茂,嫌cd繁琐的又懂简单使用vim者(知道hjkl和:q ),建议安装字符界面的目录浏览器ranger
$ sudo apt-get install ranger
使用方法很简单
$ ranger [目录名] (如果不打,就默认是当前目录)
Ubuntu14.0上编译安装Hadoop