首页 > 代码库 > Hadoop1.2.1分布式安装-2-安装篇

Hadoop1.2.1分布式安装-2-安装篇

1、在打算做namenode的机器上,wget或其他方式下载hadoop的压缩包,并解压到本地指定目录

下载解压命令参考Linux常用命令。

2、配置namenode,修改site文件

  • 修改core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://bd01:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/wukong/a_usr/hadoop-tmp</value>
  </property>
</configuration>

      注意:bd01配置的是namenode的主机名。tmp目录必须配置且不能删除,如果删除hadoop的hdfs就没了,必须重新安装。

  • 修改hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

     注意: 文件系统中文件复制的份数,默认是3份。份数越多,越耗费磁盘。一般设置成奇数,方便数据不一致时可以判断正确性。

  • 修改mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>bd01:9001</value>
  </property>
</configuration>

3、配置hadoop-env.sh

# The java implementation to use.  Required.
export JAVA_HOME=/usr/lib64/jdk1.7.0_65/

      配置JAVA_HOME时将路径指向自己本机上的jdk目录。

4、配置masters和slaves

     在masters中加入master的主机名,slaves中加入slaves的主机名。

5、向各个节点复制hadoop

      使用scp复制。scp使用方法参考Linux常用命令

6、格式化namenode

bin/hadoop namenode -format

      当log中出现info是...has been successfully formated...之后,就算格式化成功了。

7、启动hadoop守护进程

bin/start-all.sh

8、用jps检验各后台进程是否OK

jps

      如果有问题,可以修改配置文件,杀死已启动的进程后重新启动hadoop。杀死进程命令参考Linux常用命令。如果没有问题,应该显示有如下几个进程:namenode, secondnamenode, jobtracker。如果在datanode节点上查看进程,则会看到datanode, tasktracker。