首页 > 代码库 > hadoop 读取文件操作

hadoop 读取文件操作

2024-07-13 09:28:04   222人阅读

  1. Path hdfsPath = new Path(args[0]);  
  2. Configuration conf = new Configuration();  
  3. FileSystem fs = FileSystem.get(hdfsPath.toUri(),conf);   
  4. CompressionCodecFactory factory = new CompressionCodecFactory(conf);  
  5. CompressionCodec codec = factory.getCodec(hdfsPath);  
  6.   
  7. FSDataInputStream inputStream = fs.open(hdfsPath);  
  8. BufferedReader reader = null;  
  9.   
  10. try {  
  11.     if (codec == null) {  
  12.         reader = new BufferedReader(new InputStreamReader(inputStream));  
  13.     } else {  
  14.         CompressionInputStream comInputStream = codec.createInputStream(inputStream);  
  15.         reader = new BufferedReader(new InputStreamReader(comInputStream));  
  16.     }  
  17. } catch (Exception e) {  
  18.     e.printStackTrace();  
  19. }  


联系
我们