首页 > 代码库 > 马士兵hadoop2.7.3_使用java访问hdfs
马士兵hadoop2.7.3_使用java访问hdfs
- 通过java程序访问hdfs:
- hdfs系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定,而这个值默认位于/tmp/hadoop-${user.name}下面, 由于/tmp目录在系统重启时候会被删除,所以应该修改目录位置。 修改core-site.xml(在所有站点上都修改)
12345
<
property
>
<
name
>hadoop.tmp.dir</
name
>
<
value
>/var/hadoop</
value
>
</
property
>
- hdfs namenode -format
- windows上的权限系统和linux上的权限系统,测试期间为了简单起见可以关闭权限检查 在namenode的hdfs-site.xml上,添加配置:
12345
<
property
>
<
name
>dfs.permissions.enabled</
name
>
<
value
>false</
value
>
</
property
>
- 从HDFS中读取文件
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); InputStream in = new URL("hdfs://192.168.56.100:9000/test.data").openStream(); IOUtils.copyBytes(in, System.out, 4096, true);
- 学习使用FileSystem类
Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.56.100:9000"); FileSystem fileSystem = FileSystem.get(conf); boolean b = fileSystem.exists(new Path("/hello")); System.out.println(b); boolean success = fileSystem.mkdirs(new Path("/mashibing")); System.out.println(success); success = fileSystem.delete(new Path("/mashibing"), true); System.out.println(success); FSDataOutputStream out = fileSystem.create(new Path("/test.data"), true); FileInputStream fis = new FileInputStream("c:/test/core-site.xml"); IOUtils.copyBytes(fis, out, 4096, true); FileStatus[] statuses = fileSystem.listStatus(new Path("/")); //System.out.println(statuses.length); for(FileStatus status : statuses) { System.out.println(status.getPath()); System.out.println(status.getPermission()); System.out.println(status.getReplication()); }
- 思考百度网盘的实现方式?
- core-site做什么用?hdfs-site做什么用?
马士兵hadoop2.7.3_使用java访问hdfs
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。