首页 > 代码库 > 踏着前人的脚印学Hadoop——结构、重点
踏着前人的脚印学Hadoop——结构、重点
HDFS作为一个分布式文件系统,是所有这些项目的基础。分析好HDFS,有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目,我们就把他们放在一块,进行分析。
如果把整个hadoop当做一个java中的类的话,那么HDFS就是这个类的静态变量,其他的项目是hadoop中的方法。
hdfs
HDFS,Hadoop的分布式文件系统实现
文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口fs
文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口
ipc
一个简单的IPC的实现,依赖于io提供的编解码功能
参考:http://zhangyu8374.javaeye.com/blog/86306
io
表示层。将各种数据编码/解码,方便于在网络上传输
mapreduce
Hadoop的Map/Reduce实现
filecache
提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度
ipc
一个简单的IPC的实现,依赖于io提供的编解码功能
参考:http://zhangyu8374.javaeye.com/blog/86306
io
表示层。将各种数据编码/解码,方便于在网络上传输
踏着前人的脚印学Hadoop——结构、重点
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。