首页 > 代码库 > 从本地上传整个目录到hdfs的java程序

从本地上传整个目录到hdfs的java程序

首先在网上找了好久没有找到从本地文件系统上传整个目录到hdfs文件系统的程序,权威指南上也没有,都是单个文件上传,所以这里自己编写了一个程序,封装成jar包执行能够复制。


先说明一下代码:须要手动输入两个路径,一个本地文件/目录路径,第二个是hdfs目录路径。好直接上代码:

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;

/**
 * 
 * @author zlqiao
 *
 */
public class Copy {
	public static void main(String[] args) throws Exception {
		if(args.length < 2){
			System.out.println("Please input two number");
			System.exit(2);
		}
		String localSrc = http://www.mamicode.com/args[0];>

从本地上传整个目录到hdfs的java程序