首页 > 代码库 > CentOS6.5 Linux上面编译Hadoop2.4源码

CentOS6.5 Linux上面编译Hadoop2.4源码

2024-07-10 02:31:28   227人阅读

今天来说说编译hadoop源码的事情吧~

1、首先下载源码

地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/


2、加压tar包到指定文件夹：/home/hadoop/soft/hadoop

tar zxvf hadoop-2.4.0-src.tar.gz

3、Linux编译环境准备

  • java环境准备
参照：http://blog.csdn.net/enson16855/article/details/8708574
  • maven环境
下载地址：http://maven.apache.org/download.cgi

解压到指定文件夹：/home/hadoop/soft/
配置maven本地仓库，编辑maven下 conf/settings.xml文件
<localRepository>/home/hadoop/soft/repo</localRepository>


  • ant环境
下载地址：http://ant.apache.org/bindownload.cgi


以上maven，JDK，ant的配置如下：
root用户下面编辑/etc/profile
命令如下：
vim /etc/profile
在此文件最后面加上以下内容
export JAVA_HOME=/usr/java/jdk1.7.0_60
export PATH="$JAVA_HOME/bin:$PATH"

export MAVEN_HOME=/home/hadoop/soft/apache-maven-3.2.1
export PATH="$MAVEN_HOME/bin:$PATH"

export ANT_HOME=/home/hadoop/soft/apache-ant-1.9.4
export PATH="$ANT_HOME/bin:$PATH"

export HADOOP_PREFIX=/home/hadoop/soft/hadoop/hadoop-2.4.0
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"
export HADOOP_PREFIX PATH CLASSPATH
  • openssl库的安装
采用yum方式安装，yum配置参照：http://blog.csdn.net/enson16855/article/details/9140623
命令如下：root用户哦~
yum install openssl
  • CMake安装
与openssl的安装一样，采用yum安装：
yum install cmake
  • protobuf的安装
下载：
wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

下载完成解压：
tar zxvf protobuf-2.5.0.tar.gz
进入解压的文件夹中，执行以下命令：
sudo ./configure 
sudo make 
sudo make check 
sudo make install 
sudo ldconfig
验证：
4、编译hadoop2.4源码
执行以下命令：
mvn package -Pdist,native -DskipTests -Dtar


进到~/hadoop-2.4.0-src/hadoop-dist/target文件夹中有：


联系
我们