首页 > 代码库 > Hadoop - MapReduce MRAppMaster-剖析
Hadoop - MapReduce MRAppMaster-剖析
一 概述
MRv1主要由编程模型(MapReduce API)、资源管理与作业控制块(由JobTracker和TaskTracker组成)和数据处理引擎(由MapTask和ReduceTask组成)三部分组成。而YARN出现之后，资源管理模块则交由YARN实现，这样为了让MapReduce框架运行在YARN上，仅需要一个ApplicationMaster组件完成作业控制模块功能即可，其它部分，包括编程模型和数据处理引擎等，可直接采用MRv1原有的部分。
二 MRAppMaster组成
MRAppMaster是MapReduce的ApplicationMaster实现，它使得MapReduce应用程序可以直接运行于YARN之上。在YARN中，MRAppMaster负责管理MapReduce作业的生命周期，包括作业管理、资源申请与再分配、Container启动与释放、作业恢复等。
MRAppMaster 主要由已下几种组件/服务组成：
ConainterAllocator
与RM通信，为MapReduce作业申请资源。作业的每个任务资源需求可描述为5元组:
<Priority,hostname,capacity,containers,relax_locality>,分别表示作业优先级、期望资源所在的host、资源量(当前支持内存和CPU两种资源)、Container数据是否松弛本地化
ClientService
ClientService是一个接口，由MRClientService实现。MRClientService实现了MRClientProtocol协议，客户端可以通过该协议获取作业的执行状态(不必通过RM)和控制作业(比如杀死作业、改变作业优先级等）。
Job
表示一个MapReduce作业，与MRv1中的JobInProgress功能是一样的，负责监控作业的运行状态。它维护了一个作业的状态机，以实现异步执行各种作业相关的操作。
Task
表示一个MapReduce作业的某个任务，与MRv1中的TaskInProgress功能类似，负责监控一个任务的运行状态。它维护了一个任务状态机，以实现异步执行各种任务相关的操作。
TaskAttempt
表示一个任务运行实例，它的执行逻辑与MRV1中的MapTask和ReduceTask运行实例完全一致，实际上，它直接使用了MRv1中的数据处理引擎，但经过了一些优化。
TaskCleaner
负责清理失败任务或被杀死任务使用的目录和产生的临时结果(统称为垃圾数据),它维护了一个线程池和一个共享队列，异步删除任务产生的垃圾数据。
Speculator
完成推测执行功能，当同一个作业的某个任务运行速度明显慢于其他任务时，会为该任务启动一个备份任务。
ContainerLauncher
负责与NM通信，以启动一个Container.当RM为作业分配资源后，ContainerLauncher会将任务执行相关信息填充到Container中，包括任务运行所需资源、任务运行命令、任务运行环境、任务依赖的外部文件等，然后与对应的NodeManager通信，要求它启动Container.
TaskAttemptListener
负责管理各个任务的心跳信息，如果一个任务一段时间内未汇报心跳，则认为它死掉了，会将其从系统中移除。
JobHistoryEventHandler
负责对作业的各个事件记录日志。当MRApMaster出现故障时，YARN会将其重新调度到另一个节点上。未了避免重新计算，MRAppMaster首先从HDFS上读取上次运行产生的日志，以恢复已经完成的任务，进而能够只运行尚未运行完成的任务。
三 MapReduce客户端
MapReduce客户端是MapReduce用户与YARN进行通信的唯一途径，通过该客户端，用户可以向YARN提交作业，获取作业的运行状态和控制作业(比如杀死作业、杀死任务等).MapReduce客户端涉及两个RPC通信协议：
1.ApplicationClientProtol
在YARN中，RM实现了ApplicationClientProtocol协议，任何客户端需要使用该协议完成提交作业、杀死作业、改变作业的优先级等操作。
2.MRClientProtocol
当作业的ApplicationMaster成功启动后，它会启动MRClientService服务，该服务实现了MRClientProtoclo协议，从而允许客户端直接通过该协议与ApplicationMater通信以控制作业和查询作业运行状态，以减轻ResourceManager负载。
四 MRAppMaster工作流程
按照作业的大小不同，MRAppMaster提供了三种作业运行模式:
本地模式(通常用于作业调试，同MRv1一样，不再赘述)、Uber模式和Non-Uber模式。
对于小作业为了降低延迟，可采用Uber模式，在该模式下，所有Map Task和Reduce Task在同一个Container（MRAppMaster所在的Container）中顺次执行；对于大作业，则采用Non-Uber模式，在该模式下，MRAppMaster先为Map Task申请资源，当Ma Task运行完成数目达到一定比例之后再为Reduce Task申请资源。
对于Map Task而言，它的生命周期为Scheduled->assigned->completed;
而对于Reduce Task而言，它的生命周期为pending->scheduled->assigned->completed.
在YARN之上运行MapReduce作业需要解决两个关键问题：如何确定Reduce Task启动时机以及如何完成Shuffle功能。
为了避免Reduce Task过早启动造成资源利用率低下，MRAppMaster让刚启动的Reduce Task处于pending状态，以便能够根据Map Task运行情况决定是否对其进行调度。
MRAppMaster在MRv1原有策略基础之上添加了更为严格的资源控制策略和抢占策略。在YARN中，NodeManager作为一种组合服务模式，允许动态加载应用程序临时需要的附属服务，利用这一特性，YARN将Shuffle HTTP Sever组成一种服务，以便让各个NodeManager启动时加载它。
当用户向YARN提交一个MapReduce应用程序后，YARN 将分两个阶段运行该应用程序：第一个阶段是由ResourceManager启动MRAppMaster;第二个阶段是由MARppMaster创建应用程序，为它申请资源，并监控它的整个运行过程，直到运行完成。
步骤1 用户向YARN中（RM）提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。
步骤2 ResourceManager为该应用程序分配第一个Container，ResouceManage与某个NodeManager通信，启动应用程序ApplicationMaster，NodeManager接到命令后，首先从HDFS上下载文件(缓存），然后启动ApplicationMaser。
当ApplicationMaster启动后，它与ResouceManager通信，以请求和获取资源。ApplicationMaster获取到资源后，与对应的NodeManager通信以启动任务。
注：1.如果该应用程序第一次在给节点上启动任务，则NodeManager首先从HDFS上下载文件缓存到本地，这个是由分布式缓存实现的，然后启动该任务。
2. 分布式缓存并不是将文件缓存到集群中各个结点的内存中，而是将文件换到各个结点的磁盘上，以便执行任务时候直接从本地磁盘上读取文件。
步骤3 ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManage查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它们的运行状态，直到运行结束，即重复步骤4~7。
步骤4 ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。
步骤5 一旦ApplicationMaster申请到资源后，ApplicationMaster就会将启动命令交给NodeManager,要求它启动任务。启动命令里包含了一些信息使得Container可以与Application Master进行通信。
步骤6 NodeManager为任务设置好运行环境（包括环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务（Container）。
步骤7 在Container内执行用户提交的代码，各个Container通过某个RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。
步骤8 在应用程序运行过程中，用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。
步骤9 应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭自己
五 MRAppMaster 生命周期
MRAppMaster根据InputFormat组件的具体实现（通常是根据数据量切分数据），将作业分解成若干个Map Task和Reduce Task,其中每个Map Task 负责处理一片Inputsplit数据，而每个Reduce Task则进一步处理Map Task产生的中间结果。每个Map/Reduce Task只是一个具体计算任务的描述，真正的任务计算工作则是由运行实例TaskAttempt完成的，每个Map/Reduce Task可能顺次启动多个运行实例，比如第一个运行实例失败了，则另起一个新的实例重新计算，直到这一份数据处理完成或者尝试次数达到上限。
Job状态机
Job状态机维护了一个MapReduce应用程序的生命周期，即从提交到运行结束的整个过程。一个Job由多个Map Task和Reduce Task构成，而Job状态机负责管理这些任务。Job状态机由类JobImpl实现。
Task状态机
Task维护了一个任务的生命周期，即从创建到运行结束整个过程。一个任务可能存在多次运行尝试，每次运行尝试被称为一个“运行实例”，Task状态机负责管理这些运行实例。Task状态机由TaskImpl实现。
注意：1.MRAppMaster为任务申请到资源后，与对应的NodeManager通信成功启动Container。需要注意的是，在某一个时刻，一个任务可能有多个运行实例，且可能存在运行失败的实例，但是只要有一个实例运行成功，则意味着该任务运行完成。
2. 每个任务的运行实例数目都有一定上限，一旦超过该上限，才认为该任务运行失败，其中Map Task运行实例数目上限默认位4,Reduce Task运行实例默认也是 4.一个任务的失败并不一定导致整个作业运行失败，这取决于作业的错误容错率。
TaskAttempt状态机
TaskAttempt状态机维护了 一个任务运行实例的生命周期，即从创建到运行结束整个过程。它由TaskAttempImpl类实现。
在YARN 中，任务实例是运行在Container中的，因此，Container状态的变化往往伴随任务实例的状态变化，比如任务实例运行完成后，会清理Container占用的空间，而Container空间的清理实际上就是任务实例空间的清理。任务实例运行完后，需向MRAppMaster请求提交最终结果，一旦提交完成后，该任务的其它实例就将被杀死。
总结一个作业的执行过程大致如下：
创建实例=》MRApMaster向ResourceManager申请资源=》获得Container=》启动Container(运行实例）=》提交运行结果=》清理结果
当一个Container运行结束后，MRAppMaster可直接从ResourceManager上获知。各个任务运行实例需定期向MRAppMaster汇报进度和状态，否则MRAppMaster认为该任务处于僵死状态，会将它杀死，每次汇报均会触发一个TA_UPDATE事件。
注：1.MRAppMaster可以由两条路径来得知Conainer的当前运行状态：
a. 通过ResourceManager（MRAppMaster与ResouceManager中维护一个心跳信息)
b. 另一个是直接通过Task Attempt（每个Task Attempt与MRAppMaster之间有专用的协议)
2. 这两条路径是独立的，没有先后顺序之分,如果MRAppMaster直接从ResouceManager获取Container运行完成信息，则任务实例直接从Running转化为SUCCESS_CONTAINER_CLEANUP状态，如果首先从TaskAttempt中获知任务完成信息。则将首先转化为COMMIT_PENDING状态，然后再转化为SUCCESS_CONTAINER_CLEANUP状态。
当任务执行失败或者被杀死时，需清理它占用的磁盘空间和产生的结果。当Reduce Task远程复制一个已经运行完成的Map Task输出数据时，可能因为磁盘或者网络等原因，导致数据损坏或者数据丢失，这是会触发一个TA_TOO_MANY_FETCH_FAILURE事件，从而触发MRAppMaster重新调度执行该Map Task.
六 资源申请和再分配
ContainerAllocator是MRAppMaster中负责资源申请和分配的模块。用户提交的作业被分解成Map Task和Reduce Task后，这些Task所需的资源统一由ContainerAllocator模块负责从ResourceManager中申请，而一旦ContainAllocator得到资源后，需采用一定的策略进一步分配给作业的各个任务。
在YARN中，作业的资源描述可以被描述为五元组:priority,hostname,capabiity,containers,relax_locality分别表示 作业优先级 期望资源所在的host 资源量(当前支持内存与CPU两种资源） 、Containers数目 是否松弛本地化。例如：
<10,"node1","memeory:1G,CPU:1",3,true)// 优先级是一个正整数，优先级值越小，优先级越高
ContainerAllocator周期性的通过心跳与ResourceManager通信，以获取已经分配的Contaienr列表，完成的Container列表、最近更新的节点*+列表等信息，而ContanerAllocator根据这些信息完成相应的操作。
当用户提交作业之后，MRAppMaster会为之初始化，并创建一系列的Map Task和TaskReduce Task任务，由于Reduce Task依赖于Map Task之间的结果，所以Reduce Task会延后调度。
任务状态描述
Map: scheduled->assigned->completed
Task: pending-> scheduled->assigned->completed
pending 表示等待ContainerAllocator发送资源请求的集合
scheduled 标识已经发送了资源申请给RM，但还没收到分配的资源的任务集合
assignd 已经受到RM分配的资源的任务集合
complet 表示已完成的任务集合
三种作业状态：Failed Map Task ,Map Task,Reduce Task分别赋予它们优先级5 20 10也就是说，当三种任务同时有资源请求的时候，会优先分配给Failed Map Task，然后是Reduce Task，最后是Map Task.
如果一个任务运行失败，则会重新为该任务申请资源
如果一个任务运行速度过慢，则会为其额外申请资源已启动备份任务(如果启动了推测执行过程）
如果一个节点的失败任务数目过多，则会撤销对该节点的所有资源的申请请求。
注：在大多数数的情况下，RMAppMaster与RM的心跳信息都是空的，即心跳信息不包含新的资源请求信息，这种心跳信息有一下几个作用：
1. 周期性发送心跳，告诉RM自己还活着
2. 周期性询问RM,以获取新分配的资源和各个Container运行状况。
资源再分配
一旦MRAppMaster收到新分配的Container后，会将这些Container进一步分配给各个任务，Container分配过程如下：
1.判断新收到的Container包含的资源是否满足，如果不满足，则通过下次心跳通知ResourceManager释放该Container.
2.判断收到的Container所在的节点是否被加入到黑名单中，如果是，则寻找一个与该Container匹配的任务，并重新为该任务申请资源，同时通过下次心跳通知ResourceManager释放该Container.
3.根据Container的优先级，将它分配给对应类型的任务。
七 Contianer启动和释放
当ContainerAllocator为某个任务申请到资源后，会将运行该任务相关的所有信息封装到Container中，并要求对应的节点启动该Container。需要注意的是，Container中运行的任务对应的数据处理引擎与MRv1中完全一致，仍为Map Task和 Reduce Task。正因为如此，MRv1的程序与YARN中的MapReduce程序完全兼容。
ContainerLaunche负责与各个NodeManager通信，已启动或者释放Container。在YARN中，运行的Task所需的全部信息被封装到Container中，包括所需的资源、依赖的外部文件、JAR包、运行时环境变量、运行命令等。ContainerLauncher通过RPC协议ContainerManager与NodeManager通信，以控制Container的启动和释放，进而控制任务的执行(比如启动任务、杀死任务等）。
有多种可能触发停止/杀死一个Container,常见的有：
1.推测执行时一个任务运行完成，需杀死另一个相同输入数据的任务。
2.用户发送一个杀死任务请求。
3.任意一个任务运行结束时，YARN会触发一个杀死任务的命令，以释放对应的Container占用的资源。
八 推测执行机制
为了防止执行速度慢的任务拖慢整体的执行进度，使用推测执行机制，Hadoop会为该任务启动一个备份任务，让该备份任务与原始任务同时处理同一份数据，谁先运行完，则将谁的结果作为最终结果。
注：1.每个任务最多只能有一个备份任务实例
2. 启动备份的时候，必须保证已经有足够多的Map任务已经完成，根据这些完成的任务来估算是否来启动备份任务。
这种算法的优点是可最大化备份任务的有效率，其中有效率指有效备份任务数与所有备份任务数的比值，有效任务是指完成时间早于原始任务完成时间的备份任务(即带来实际收益的备份任务）。备份任务的有效率越高，推测执行算法越优秀，带来的收益也就越大。
推测执行机制实际上采用了经典的算法优化方法，以空间换时间，它同时启动多个相同的任务处理相同的数据，并让这些任务竞争以缩短数据的处理时间。
八 作业恢复
从作业恢复粒度角度来看，当前存在三种不同级别的恢复机制，级别由低到高依次是作业级别、任务级别和记录级别，其中级别越低实现越简单，但造成的资源浪费也越严重。当前MRAppMaster采用了任务级别的恢复机制，即以任务为基本单位进行恢复，这种机制是基于事务型日志完成作业恢复的，它只关注两种任务：运行完成的任务和未完成的任务。作业执行过程中，MRAppMaster会以日志的形式将作业以及状态记录下来，一旦MRAppMaster重启，则可从日志中恢复作业的运行状态。
当前MRAppMaster的作业恢复机制仅能做到恢复上一次已经运行完成的任务，对于正在运行的任务，则在前一次MRAppMaster运行实例退出时由ResourceManager强制将其杀死并回收资源。
MRAppMaster采用了开源数据序列化工具Apache Avro记录这些事件。Avro是一个数据序列化系统，通常用于支持大批数据交换和跨语言RPC的应用。
九 MRv1与MRv2简单对比
MRAppMaster仍采用了MRv1中的数据处理引擎，分别由数据处理引擎MapTask和ReduceTask完成Map任务和Reduce任务的处理。
MRv1与MRv2的比较
MRv2中在Map端 用Netty代替Jetty. Reduce端采用批拷贝、shuffle和排序插件化
应用程序编程接口 新旧API 新旧API
运行时环境 由JobTracker与TaskTracker组成 YARN (由RM和NM组成）和MRAppMaster
数据处理引擎 MapTask/Reduce Task MapTask/Reduce Task
需要注意的是，YARN并不会改变MapReduce编程模型，它只是应用开发人员使用的API。YARN提供了一种新的资源管理模型和实现，用来 执行MapReduce任务。因此，在最简单的情况下，现有的MapReduce应用仍然能照原样运行（需要重新编译），YARN只不过能让开发人员更精 确地指定执行参数。
十 小结
MapRecuce On YARN的运行时环境由YARN与ApplicationMaster构成，这种新颖的运行时环境使得MapReduce可以与其他计算框架运行在一个集群中，从而达到共享集群资源、提高资源利用率的目的。随着YARN的程序与完善，MRv1的独立运行模式将被MapRedcue On YARN取代。
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。