首页 > 代码库 > ubuntu12.04下hadoop1.04环境搭建

ubuntu12.04下hadoop1.04环境搭建

(1)我的电脑环境


(2)jdk1.6的安装

由于Ubuntu12.04自带了openjdk6,所以,在终端输入java -version后会现实如下提示:


表示jdk已经安装完成了。接下来是配置环境变量。

openjdk6的安装目录是在/usr/lib/jvm下


(3)设置环境变量

#set Java Environment

export  JAVA_HOME=/usr/lib/jvm/java-6-openjdk

export  CLASSPATH=.:$JAVA_HOME/lib/:$CLASSPATH

export  PATH=$JAVA_HOME/bin:$PATH

保存并退出,这时在终端输入java -version,如果出现如下提示表示安装成功。


(4)配置SSH免密码登陆

我的ubuntu用户为wgc

1.sudo apt-get install ssh

2.查看当前用户下是否有.ssh的隐藏文件,如果没有就创建一个mkdir .ssh

3.输入ssh-keygen -t  dsa -P ‘ ‘ -f  -/.ssh/id_dsa(‘ ‘是两个单引号)

这个命令会在.ssh文件夹下生成id_dsa和id_ds.pub两个文件,这私钥和公钥。

4.输入cat  ~/.ssh/id_dsa.pub  >>  ~/.ssh/authorized_keys

这条命令是把公钥加到用于认证的公钥文件中

5.验证SSH是否安装成功,以及是否可以免密码登陆本机

ssh  -version

如果显示如下,表示安装成功


输入ssh  localhost,提示是否链接,输入yes即可

(5)安装并运行hadoop

下载并将hadoop-1.0.4.tar.gz解压到当前用户目录下(/home/wgc)

采用为分布式hadoop配置

进入hadoop文件夹下的conf夹,修改配置文件。

1.指定jdk安装位置:

Hadoop-env.sh:

export  JAVA_HOME=/usr/lib/jvm/java-6-openjdk

2.hadoop核心配置文件,配置HDFS地址和段口号。

core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

3.hdfs-site.xml,默认的配置方式是3,在单机版的hadoop中,将其改为1

<configuration>
        <property>
                 <name>dfs.replication</name>
                 <value>1</value>
         </property>
</configuration>

4.配置MapReduce文件,配置JobTracker的地址和端口

mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

5.接下来,在启动hadoop前,需要格式化hadoop的HDFS。进入hadoop文件夹,

输入bin/hadoop namenode -format

格式化文件系统,接下来启动hadoop

输入命令,启动所有进程:

bin/start-all.sh

最后验证hadoop是否安装成功。

打开浏览器,分别输入网址:

localhost:50030(mapreduce的web页面)

localhost:50070(HDFS的web页面)