首页 > 代码库 > 用程序对hdfs进行操作。
用程序对hdfs进行操作。
调试加安装了半天,怎么也没有配置好怎么通过Eclipse直接连接hdfs,最后我还是打成一个jar包放到Linux虚拟机中执行的。
执行命令Java -jar XXX.jar.
其中对hdfs的操作比较简单,主要就FileSystem这一个类,这个东西搞懂了,你对通过程序进行对hdfs的操作自然而然的也就非常熟练了。
下面我简单的举一个简单的从hdfs上读取文件内容的例子。大家分享一下。
package com.pzoom.hdfs; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.util.Progressable; public class PutFileToHdfs { /** * 从HDFS上读取文件 */ private static void readFromHdfs() throws FileNotFoundException, IOException { String dst = "hdfs://ubuntu:9000/"; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(dst), conf); String path = "/README.txt"; FSDataInputStream hdfsInStream = fs.open(new Path(path)); IOUtils.copyBytes(hdfsInStream, System.out, conf, true); /* OutputStream out = new FileOutputStream("/home/chenlongquan/output"); byte[] ioBuffer = new byte[1024]; int readLen = hdfsInStream.read(ioBuffer); while (-1 != readLen) { out.write(ioBuffer, 0, readLen); readLen = hdfsInStream.read(ioBuffer); } out.close(); hdfsInStream.close(); fs.close(); */ } /** * main函数 * * @param args * @throws Exception */ public static void main(String[] args) throws Exception { try { //uploadToHdfs(); readFromHdfs(); } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } finally { } } }
用程序对hdfs进行操作。
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。