首页 > 代码库 > 【大数据系列】在windows下连接linux 下的hadoop环境进行开发

【大数据系列】在windows下连接linux 下的hadoop环境进行开发

一、下载Eclipse并安装

二、下载exlipse的hadoop plugin

三、打开Map Reduce视图

Window --> Perspective --> Open perspective

技术分享

四、编辑Hadoop Location

技术分享

技术分享

五、查看是否连接成功

技术分享

六、上传文件或文件夹测试是否成功

1、没有权限Permission denied 

技术分享

关键代码行:执行login.login的时候调用了hadoop里面的HadoopLoginModule方法,而关键是在commit方法里面,它会优先去读取HADOOP_USER_NAME系统环境变量,然后是Java环境变量,再如果没有的话就会从NTUserPrincipal里面获取。因为之前没有配置HADOOP_USER_NAME所以其获取到的是我windows系统的当前用户。

if (!isSecurityEnabled() && (user == null)) {
  String envUser = System.getenv(HADOOP_USER_NAME);
  if (envUser == null) {
    envUser = System.getProperty(HADOOP_USER_NAME);
  }
  user = envUser == null ? null : new User(envUser);
}

以上解决参考自:http://blog.csdn.net/xiaoshunzi111/article/details/52062640

 

【大数据系列】在windows下连接linux 下的hadoop环境进行开发