HDFS 可靠性

冗余副本策略

机架策略

心跳机制

安全模式

校验和

回收站

元数据保护

        在数据节点启动后，会把本地的文件系统遍历一次，产生一份数据块以及本地文件对                 应关系的清单叫做块报告，会汇报给NameNode

Hadoop机架感知

集群中各个节点之间会相互传递信息包心跳机制

nameNode周期性从datanode接受心跳信号和块报告

nameNode根据块报告验证元数据

没有按时发送心跳的datanode会被标记为宕机，不会再给它任何I/O请求

如果datanode失效造成副本数量下降，并且低于预先设置的阈值，namenode会检测出                 这些数据块，并在合适的时机进行重新复制

引发重新复制的原因还包括数据块损坏，磁盘错误，复制因子被大增

安全模式

NameNode启动时会经过一个"安全模式"阶段

安全模式阶段是不会产生数据写

在此阶段namenode收集各个datanode的报告，当数据块达到最小副本数以上时，会被                 认为是"安全"的在一定比例（可设置）的数据块被确定为"安全"后，再过若干时间退

                出安全模式

当检测到副本数不足的数据块时，该块会被复制到达最小副本数

校验和

在文件创立时，每个数据块都产生校验和

校验和会作为单独一个隐藏文件保存在命名空间下

客户端获取数据时可以检查校验和是否相同，从而发现数据块是否损坏

如果正在读取的数据块损坏，则可以继续读取其他副本

元数据保护

映像文件和事物日志是namenode 的核心数据，可以配置拥有多个副本

副本会降低namenode的处理速度，但增加安全性

namenode依然是单点，当宕机的时候需要手动切换

本文出自 “落寞” 博客，请务必保留此出处http://qinheng.blog.51cto.com/8764944/1541017