首页 > 代码库 > Hadoop MapReduce两种架构

Hadoop MapReduce两种架构

一、MRv1

  Master - Slave 模式

  技术分享

 

主要包含4部分:JobTracker,TaskTracker,Task,Client

  JobTracker:负责整个MR集群的资源监控和作业调度,集群的Master。它把任务进度 和 资源使用量告诉调度器TaskScheduler,由调度器来计划如何调度,调度器是个可挺拔模块。

  TaskTracker:负责周期性的向JobTracker汇报每个节点的状况,并执行JobTracker发来的命令。TaskTracker使用slot来等量划分节点上的资源(CPU和内存),slot分为map slot 和 reduce slot两种,分别提供给map task 和 reduce task使用。

  Task:分为MapTask 和 ReduceTask两种,由TaskTracker启动。通常一个Task只使用一个slot,但也可使用多个。

二、MRv2-Yarn

Hadoop MapReduce两种架构