首页 > 代码库 > CDH4安装部署系列之三-服务器规划
CDH4安装部署系列之三-服务器规划
1 Namenode规划说明:
由于Namenode非常重要,一旦丢失数据或停止工作,整个集群就不能恢复了,所以一般来说,Namenode单独安装在一台服务器上,且两个Namenode分开部署。由于ZKFC负责监控Namenode的状态信息,所以每一台Namenode上必须安装ZKFC
2 Journalnode规划说明:
由于Journalnode对系统资源消耗较少,一般Journalnode可以与别的服务搭建在一起。Journalnode必须至少3个节点。当然可以运行更多,最好是部署奇数个,偶数个不是不可以,但是Journalnode集群是以宕机个数过半才会让整个集群宕机的,所以奇数个更佳。如3、5、7、9个等等。部署的越多,可靠性就越高。
3 Datanode规划说明:
除Namenode和Journalnode节点外,集群中的所有其他节点安装datanode。由于Datanode负责数据库的存储和读写,因此Datanode越多,集群的效率越高
4 Yarn(ResourceManager+NodeManager+MapReduce)规划说明:
ResourceManager:
每个Cluster拥有一个Resource Manager。ResourceManager负责作业与资源的调度。接收JobSubmitter提交的作业,按照作业的上下文(Context)信息,以及从NodeManager收集来的状态信息,启动调度过程,分配一个Container作为App Mstr。
因此ResourceManager的任务相当繁重,需要消耗大量的系统资源,一般建议ResourceManager单独部署在一台服务器上面
NodeManager和MapReduce:
负责Container状态的维护,并向RM保持心跳。每个Slave Node则运行一个NodeManager,来监控和管理该节点上的资源使用情况。在运行Job的时候,和MRv1相似,每个Slave Node运行Map和/或者Reduce Task。对应每个Job(application),有一个Application Master(运行在某个Slave Node上),负责管理application的生命周期,向resource manager申请资源,以及监控task的状态等(譬如重启出错任务)。
因此每个Datanode节点上运行一个NodeManager和一个MapReduce
5 Zookeeper规划说明:
考虑到Zookeeper集群的需要的资源不是很多,一般都建议将ZK节点和别的服务部署在同一个机器上。Zookeeper必须至少3个节点。当然可以运行更多,最好是部署奇数个,偶数个不是不可以的,但是Zookeeper集群是以宕机个数过半才会让整个集群宕机的,所以奇数个更佳。如3、5、7、9个等等。部署的越多,可靠性就越高。
本文出自 “燕子覃的测试专栏” 博客,请务必保留此出处http://bobbleyan.blog.51cto.com/9111528/1553520
CDH4安装部署系列之三-服务器规划