首页 > 代码库 > Yarn架构

Yarn架构

jobtracker存在单点故障问题

jobtracker只支持mapreduce,计算框架不具有可扩展性

jobtracker是性能瓶颈

技术分享

 

yarn可以整合不同的计算框架,提高资源利用率

技术分享

技术分享

 yarn的基本架构

技术分享

yarn运行过程

技术分享

yarn容错性

Resource Manager 

存在单点故障

正在基于zookeeper实现HA

NodeManager

失败后,RM将失败任务告诉对应的AM,AM决定如何处理失败的任务。

Application Master

失败后,由RM负责重启

AM需要处理内部任务的容错问题

RMAppMaster会保存已经运行完成的Task,重启后无需重新运行

 

Yarn架构