首页 > 代码库 > java操作hdfs到数据库或者缓存
java操作hdfs到数据库或者缓存
使用hadoop工具将数据分析出来以后,需要做入库处理或者存到缓存中,不然就没了意义
一下是使用javaAPI操作hdfs存入缓存的代码:
<span style="font-family:Microsoft YaHei;font-size:14px;">public class InterestToRedisJob { FileSystem hdfs = null; public InterestToRedisJob(){ init(); } private void init(){ Configuration conf = new Configuration(); conf.set("fs.default.name", "hdfs地址"); try { hdfs = FileSystem.get(conf); } catch (IOException e) { e.printStackTrace(); } } public void ReadFileToReids(String path) throws IOException{ Path paths = new Path(path); FileStatus[] files = hdfs.listStatus(paths);</span>
<span style="font-family:Microsoft YaHei;font-size:14px;"><span style="white-space:pre"> </span>//这儿是自己实现的一个路径顾虑器,也可不适用,在【1】处直接判断part-r-等标示</span>
<span style="font-family:Microsoft YaHei;font-size:14px;"> PathFilter filter = new ResultNameFilter("part-r-"); Text line = new Text(); RedisClient redis = new RedisClient(); for(FileStatus file:files){ if(file.isDir() || !filter.accept(file.getPath())){//【1】 continue; }else{ FSDataInputStream input = null; try{ input = hdfs.open(file.getPath()); LineReader reader = new LineReader(input); while(reader.readLine(line) > 0){ System.out.println(line); String[] arr = line.toString().split("\t");</span>
<span style="font-family:Microsoft YaHei;font-size:14px;"><span style="white-space:pre"> </span>//做存入redis处理 redis.saveHsetValue(arr[0], "interest", arr[1]); } }catch(Exception e){ e.printStackTrace(); }finally{ if(input != null){ input.close(); } } } } } public static void main(String[] args) { InterestToRedisJob job = new InterestToRedisJob(); try { job.ReadFileToReids("你的path"); } catch (IOException e) { e.printStackTrace(); } } }</span>上面代码需要修改后使用,请勿直接粘贴。
java操作hdfs到数据库或者缓存
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。