首页 > 代码库 > 005、Hadoop-MapReduce详解

005、Hadoop-MapReduce详解

一、Map任务的执行过程

  1. 读取文件的内容,解析成key、value对,对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数
  2. 写自己的逻辑,对输入的key、value处理,转换成新的key、value输出
  3. 对输出的key,value进行分区
  4. 对不同分区的数据,按照key进行排序分组,相同的key的value放在一起
  5. 对分组后的数据进行归约

二、Reduce的执行过程

  1. 对多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点
  2. 对多个map任务的输出进行合并,排序,写reduce函数自己的逻辑,对输入的key、value处理,转换成新的key、value输出
  3. 把reduce的输出保存到文件中

005、Hadoop-MapReduce详解