首页 > 代码库 > hadoop之HDFS运行小观察

hadoop之HDFS运行小观察

hadoop 是当前很火的一个  大数据运行框架和平台, 对于这个神奇的大家伙我甚是搞不清楚,前段时间闲来无视便把 HADOOP 运行起来, 看着它的操作记录存储部分(操作日志), IMAGE 记录着平台所有的文件操作记录,比如  创建文件,删除文件,改名 等等, 以下是我的一些小观察。

 

 

格式化----初始化

技术分享

这是 fsimage  最初的样子,因为只是将磁盘格式化,并没有任何操作。一个序号为0 的IMAGE ,  md5校验文件,   版本号文件。

 

 

 

格式化后开启集群

技术分享

 

 

 

无任何操作---1小时后

技术分享

可以看到  IMAGE 个数增加,   序号也在增加,  当然这段时间里面并没有什么任何操作。

 

 

 

 

 

 

经过一定操作后,  可以看到下两图:IMAGE 数量迅速增加,序号也在增加, 

edits  文件记录的是操作记录, 随时间增加,序号增加。

edits_inprogress  是正在进行记录的文件。

fsimage  是经过校验,在某个时间点之前的记录全部存盘的文件, 这里面可以看到是分别做了两个存储,是两个最后的临近时间点。

技术分享

 

技术分享

 

hadoop之HDFS运行小观察