首页 > 代码库 > HDFS04
HDFS04
===================HDFS副本放置策略===================
一个文件划分成多个block,每个 block存多份,如何为每个block选 择节点存储这几份数据?
Block副本放置策略:
√副本1:同Client节点上
√副本2:不同机架的节点上
√副本3:与第二个副本同一机架的另一个节点上
√其他副本:随机挑选
===================HDFS不适合存储小文件===================
元信息存储在NameNode内存中 ------------->
√一个节点的内存是有限的
存储大量小文件消耗大量的寻到时间 ------------->
√类比拷贝大量小文件与拷贝同等大小的一个大文件
NameNode存储block数目有限 ------------->
√一个block元信息消耗大约150byte内存
√存储1亿个block,大约需要20GB内存
√如果一个文件大小为10K,则1亿个文件大小仅为1TB(但要消耗掉 NameNode 20GB内存)
HDFS04
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。