首页 > 代码库 > hadoop之HDFS运行小观察
hadoop之HDFS运行小观察
hadoop 是当前很火的一个 大数据运行框架和平台, 对于这个神奇的大家伙我甚是搞不清楚,前段时间闲来无视便把 HADOOP 运行起来, 看着它的操作记录存储部分(操作日志), IMAGE 记录着平台所有的文件操作记录,比如 创建文件,删除文件,改名 等等, 以下是我的一些小观察。
格式化----初始化
这是 fsimage 最初的样子,因为只是将磁盘格式化,并没有任何操作。一个序号为0 的IMAGE , md5校验文件, 版本号文件。
格式化后开启集群
无任何操作---1小时后
可以看到 IMAGE 个数增加, 序号也在增加, 当然这段时间里面并没有什么任何操作。
经过一定操作后, 可以看到下两图:IMAGE 数量迅速增加,序号也在增加,
edits 文件记录的是操作记录, 随时间增加,序号增加。
edits_inprogress 是正在进行记录的文件。
fsimage 是经过校验,在某个时间点之前的记录全部存盘的文件, 这里面可以看到是分别做了两个存储,是两个最后的临近时间点。
hadoop之HDFS运行小观察
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。