首页 > 代码库 > 安装hadoop遇到的小问题及解决办法
安装hadoop遇到的小问题及解决办法
由于安装的2.2.0版本的hadoop
遇到了几个问题,最终还是解决了,问题汇总及解决办法如下:
1.sbin/start-all .sh完毕后,jps没有namenode?
--------由于我自己只在core-site.xml中配置了fs.default.name,没有考虑到hadoop的tmp目录的自动删除,因此需要在core-site.xml增加tmp文件的配置:
<name>hadoop.tmp.dir</name>
<value>此处增加自己安装的hadoop路径,再加上自定义目录</value>
2.hadoop fs等命令无法使用?
---------这个原因是没有配置HADOOP_HOME的环境变量:
sudo vi ~/.bashrc 文件(我是用的ubuntu系统):
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_HOME=$HADOOP_HOME
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/usr/local/lib:$HADOOP_HOME/lib/native
export JAVA_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_LIBRARY_PATH
----在这之前还需要配置好JAVA环境变量
3.运行MAPREDUCE程序的时候,web段无法链接到history端口:
请参考:http://blog.csdn.net/u014288743/article/details/70455966
1 首先确保jobhistory服务启动,使用命令mr-jobhistory-daemon.sh start historyserver启动。
2 配置host文件,集群的host文件和你的本机电脑的host文件都要配置。因为页面中history链接地址使用的是域名访问,如图
3 关闭集群机器的防火墙,或者配置防火墙访问列表。
4 如果你使用root用户启动过Hadoop集群,那么Hadoop自动将集群的logs目录(Hadoop安装目录下)所属组改为roo组,那么当你再次使用其他用户启动Hadoop集群时则没有权限访问logs目录,自然也就无法写日志了。
安装hadoop遇到的小问题及解决办法
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。