首页 > 代码库 > windows下在eclipse上远程连接hadoop集群调试mapreduce错误记录

windows下在eclipse上远程连接hadoop集群调试mapreduce错误记录

第一次跑mapreduce,记录遇到的几个问题,hadoop集群是CDH版本的,但我windows本地的jar包是直接用hadoop2.6.0的版本,并没有特意找CDH版本的

1.Exception in thread "main" java.lang.NullPointerException atjava.lang.ProcessBuilder.start

下载Hadoop2以上版本时,在Hadoop2的bin目录下没有winutils.exe和hadoop.dll,网上找到对应版本的这两个文件后,放到hadoop的bin下面,并在环境变量里加上HADOOP_HOME和在path里加上%HADOOP_HOME%/bin,重启电脑后再运行就没这个问题了。

2.atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)

下载hadoop-2.6.0-src.tar后解压,找到hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java复制到工程里面,包的路径为org.apache.hadoop.io.nativeio,然后更改第557行为return true。如图:

技术分享

3.运行结果未报错,只是运行结果为false,查看hadoop的激活节点日志发现报错:PartialGroupNameException The user name ‘ushio‘ is not found. id: ushio: No such user

在环境变量里添加HADOOP_USER_NAME变量,值为正确有权限执行hadoop的用户名,cloudera manager安装的cdh版本的hadoop的话,值可为hdfs,重启电脑后就正常运行了。

 

在下面这个网页找到解决方案的,里面提到的其余的错我没遇到。

http://blog.csdn.net/congcong68/article/details/42043093

windows下在eclipse上远程连接hadoop集群调试mapreduce错误记录