首页 > 代码库 > centos下hadoop的安装

centos下hadoop的安装

    hadoop的安装不难,但是需要做不少的准备工作。

一、JDK

需要先安装jdk。centos下可以直接通过yum install java-1.6.0-openjdk来安装。不同发布版的安装方式可能不一样。

二、设置ssh

    之后,需要设置ssh为密钥认证登录。如果没有这一步,那么以后每次hadoop运行的时候都会提示输入密码。可以直接ssh-keygen -t rsa一路回车生成ssh的密钥对,然后进入当前用户的家目录,进入.ssh目录,cp /home/hadoop/.ssh/id_rsa.pub  /home/hadoop/.ssh/authorized_keys,这一步的目的是为了让ssh登录本机(也就是localhost)的时候可以直接通过密钥认证。如果你要搭建的是hadoop集群,则还要用类似scp /home/hadoop/.ssh/authorized_keys hadoop@192.168.30.61:/home/hadoop/.ssh/的命令在各个节点上交换公钥,以实现节点间的密钥认证。

三、hadoop安装

    接着才是hadoop本身的安装。这一步或许是最简单的。直接到hadoop官网上下载hadoop安装包,然后解压即可完成hadoop本身的安装。这点很像win下的绿色软件。解压后可以在目录下找到hadoop的可执行文件和配置文件,直接执行可执行文件就可以运行hadoop。运行时候应该会报错,这个很正常,不要慌张,先设置hadoop-env.sh文件,这个文件可以在hadoop目录的etc文件夹下找到。不同版本的hadoop可能不一样,可以通过find hadoop安装目录 -name "hadoop-env.sh"的方式查找这个文件的位置。找到后在里边找到$JAVA_HOME变量,将其值设置成“java”可执行文件所在的目录,不知道在哪个目录的话直接find。之后再次运行hadoop就应该可以运行了。还可以把hadoop的家目录添加到PATH目录中,这样以后就可以在任意目录执行hadoop命令。修改/etc/profile文件,将hadoop的安装目录append到文件最后:

export HADOOP_HOME=/usr/local/hadoop/hadoop-0.21.0
export PATH=$HADOOP_HOME/bin:$PATH

     以上步骤完成后hadoop就安装好了,如果你要的是本地模式,那么hadoop已经可以用了。但是如果用其他模式,还需要对其进行配置。具体的配置方式可以直接百度。