首页 > 代码库 > 003、java连接Hadoop2.5.1获取文件系统信息
003、java连接Hadoop2.5.1获取文件系统信息
说明：hadoop安装，一共有三种部署方式，分别是本地部署、伪分布部署、集群部署。这里我们以伪分布模式为例进行讲解。
软件：Myeclipse-2014-GA，hadoop-2.5.1.tar.gz，hadoop-eclipse-plugin-2.5.0.jar
软件下载地址：链接: http://pan.baidu.com/s/1ntuUhux 密码: stok
1、首先把hadoop-eclipse-plugin-2.5.0.jar拷贝到Myeclipse的插件目录里面
2、启动myeclipse,然后看看插件是否安装成功
3、配置插件信息，如图所示：
注：Host是集群主机IP，port:50020是默认的，右边Port是集群core-site.xml里面配置的信息
4、配置完成之后，新建一个项目，这里我建的是java项目
1 package hadoop; 2 3 import java.io.IOException; 4 import java.text.DateFormat; 5 import java.util.Date; 6 7 import org.apache.hadoop.conf.Configuration; 8 import org.apache.hadoop.fs.FileStatus; 9 import org.apache.hadoop.fs.FileSystem;10 import org.apache.hadoop.fs.Path;11 12 public class HadoopTest {13 public static void main(String[] args) throws IOException {14 System.out.println("12");15 Configuration conf = new Configuration();16 conf.set("fs.defaultFS", "hdfs://192.168.0.204:9000");17 FileSystem fs = FileSystem.get(conf);18 FileStatus[] s = fs.listStatus(new Path("/"));19 for (int i = 0; i < s.length; i++) {20 FileStatus f = s[i];21 System.out.println(f.getPath().getName());22 System.out.println(f.getLen());23 System.out.println(f.getModificationTime());24 Date date = new Date(f.getModificationTime());25 String d = DateFormat.getDateInstance().format(date);26 System.out.println(d);27 }28 fs.close();29 }30 }
5、成功运行之后，会显示从集群里面获取的文件信息
003、java连接Hadoop2.5.1获取文件系统信息
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。