首页 > 代码库 > 安装hadoop遇到的小问题及解决办法

安装hadoop遇到的小问题及解决办法

由于安装的2.2.0版本的hadoop 

遇到了几个问题,最终还是解决了,问题汇总及解决办法如下:

1.sbin/start-all .sh完毕后,jps没有namenode?

--------由于我自己只在core-site.xml中配置了fs.default.name,没有考虑到hadoop的tmp目录的自动删除,因此需要在core-site.xml增加tmp文件的配置:

<name>hadoop.tmp.dir</name>

<value>此处增加自己安装的hadoop路径,再加上自定义目录</value>

2.hadoop fs等命令无法使用?

---------这个原因是没有配置HADOOP_HOME的环境变量:

sudo vi ~/.bashrc  文件(我是用的ubuntu系统):

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_HOME=$HADOOP_HOME
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/usr/local/lib:$HADOOP_HOME/lib/native
export JAVA_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_LIBRARY_PATH

----在这之前还需要配置好JAVA环境变量
3.运行MAPREDUCE程序的时候,web段无法链接到history端口:
请参考:http://blog.csdn.net/u014288743/article/details/70455966

1 首先确保jobhistory服务启动,使用命令mr-jobhistory-daemon.sh start historyserver启动。

2 配置host文件,集群的host文件和你的本机电脑的host文件都要配置。因为页面中history链接地址使用的是域名访问,如图 

    技术分享

  3 关闭集群机器的防火墙,或者配置防火墙访问列表。

  4 如果你使用root用户启动过Hadoop集群,那么Hadoop自动将集群的logs目录(Hadoop安装目录下)所属组改为roo组,那么当你再次使用其他用户启动Hadoop集群时则没有权限访问logs目录,自然也就无法写日志了。

 



安装hadoop遇到的小问题及解决办法