首页 > 代码库 > 005、Hadoop-MapReduce详解
005、Hadoop-MapReduce详解
一、Map任务的执行过程
- 读取文件的内容,解析成key、value对,对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数
- 写自己的逻辑,对输入的key、value处理,转换成新的key、value输出
- 对输出的key,value进行分区
- 对不同分区的数据,按照key进行排序分组,相同的key的value放在一起
- 对分组后的数据进行归约
二、Reduce的执行过程
- 对多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点
- 对多个map任务的输出进行合并,排序,写reduce函数自己的逻辑,对输入的key、value处理,转换成新的key、value输出
- 把reduce的输出保存到文件中
005、Hadoop-MapReduce详解
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。