首页 > 代码库 > Ubuntu14.0上编译安装Hadoop

Ubuntu14.0上编译安装Hadoop

Ubuntu14.0上编译安装Hadoop

环境:

hadoop-2.5.0.tar

hadoop-2.5.0-src.tar

jdk-7u71-linux-x64

protobuf-2.5.0.tar 

Maven3.0

 

安装步骤:

1 安装jdk ,配置环境变量

2 安装依赖包

3 安装maven

4安装protobuf-2.5.0.tar

5 编译Hadoop

 

6 安装hadoop

6.1 单机模式

6.2 伪分布模式

6.3 集群模式

 

安装jdk ,配置环境变量

下载jdk版本:jdk-7u71-linux-x64.gz默认下载放在Download目录下:

进入Download目录;

  • 1解压jdk安装包到指定目录

 sudo tar zxvf jdk-7u67-linux-x64.gz -C /usr/

默认把jdk放在、usr这个目录下

  • 进入该目录下 重命名jdk,这一步给jdk重命名 如: jdk-1.7

sudo mv jdk-7u71-linux-x64.tar.gz jdk-1.7

  • 配置环境变量

使用vim ~/.bashrc命令编辑  (vi下删除是x   vim 下删除时退格键)可能需要安装vim : sudo apt-get install vim

在底部加入以下命令:

#set Java Environment

export JAVA_HOME=/usr/jdk-1.7  

export JRE_HOME=${JAVA_HOME}/jre   

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   

export PATH=${JAVA_HOME}/bin:$PATH 

  • 使用命令:source ~/.bashrc

.

 将系统默认的jdk修改过来

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_05/bin/java 300

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_05/bin/javac 300

sudo update-alternatives --config java 

sudo update-alternatives --config javac

来源: <http://blog.sina.com.cn/s/blog_675e4f240102uwim.html>

 

  • 验证 在终端输入java 出现下面字段表示安装成功

安装依赖包

2.1 

sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev 

2.2因为还要用到ssh,所以如果机器上没有的话,装个openssh的客户端就好啦 (ubuntu 12.04应该预装了) 

sudo apt-get install openssh-client

装server

sudo apt-get install openssh-server  

 

3 安装maven

sudo apt-get install maven 

测试:mvn --version

 

4 安装protobuf-2.5.0.tar

这个试了网上的很多方法:如

ar -xzf protobuf-2.1.0.tar.gz 

 cd protobuf-2.1.0 

 ./configure --prefix=/usr/local/protobuf

 make 

 make check 

 make install 

  但是最后都安装失败,最终用apt-get命令安装成功

 

 安装Google ProtocolBuffer

 $ sudo apt-get install protobuf-compiler

   装完后确认版本是否满足安装指南BUILDING.txt里所指定的2.5.0版本的要求。

   卸载 $ sudo apt-get remove protobuf-compiler

 

(在ubuntu12.04 server下装的这个软件包是2.4.1的, 某T同学在ubuntu 14.04 desktop下通过apt-get装的是2.5.0)

于是在ubuntu12.04 server下仍旧要去google code 找源码包编译。

来源: <https://www.evernote.com/shard/s341/sh/2e7bcfe5-0d1a-4faa-8be1-6b25304c4a77/a854b4141e743da683c5f8d386fd635d?content=>

编译Hadoop

 最后(可能多次进入这个“最后”),cd 进 hadoop的源码根目录,查看 BUILDING.txt, 如果不习惯可以在宿主机用浏览器进hadoop的github里直接查看该文件的第165行到第167行,并了解一下maven生命周期之类的。

在hadoop源码的根目录执行

(若由于各种原因出错回到这一步,请先 $ mvn clean)

$ mvn package -Pdist,native -DskipTests -Dtar (这里我省略了src和doc)

 

11. 最后如果看到了这样的信息,就算Build完了, - -# 累。

[INFO]-------------------------

[INFO] BUILD SUCCESS

[INFO]-------------------------

[INFO] Total time: xx:xx min 

(我的linux mint编译了27min,虚拟机上的ubuntu12编译了42min,求碾压级超越)

 

12. 编译的结果在源码根目录的hadoop-dist/target/里,在该目录下执行

$ hadoop-2.5.1/bin/hadoop version

可以看到hadoop版本信息和编译信息。

target 目录里枝繁叶茂,嫌cd繁琐的又懂简单使用vim者(知道hjkl和:q ),建议安装字符界面的目录浏览器ranger

$ sudo apt-get install ranger

使用方法很简单

$ ranger [目录名] (如果不打,就默认是当前目录)

 

Ubuntu14.0上编译安装Hadoop