使用JAVA API获取hadoop集群的FileSystem

2024-09-05 19:25:59 217人阅读

所需要配置的参数：

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://hadoop2cluster");

conf.set("dfs.nameservices", "hadoop2cluster");

conf.set("dfs.ha.namenodes.hadoop2cluster", "nn1,nn2");

conf.set("dfs.namenode.rpc-address.hadoop2cluster.nn1", "10.0.1.165:8020");

conf.set("dfs.namenode.rpc-address.hadoop2cluster.nn2", "10.0.1.166:8020");

conf.set("dfs.client.failover.proxy.provider.hadoop2cluster", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

将其中的hadoop2cluster改为自己的HA的url
 就可以了

使用JAVA API获取hadoop集群的FileSystem

声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉：投诉/举报工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。

联系
我们