首页 > 代码库 > Hadoop的Combiner
Hadoop的Combiner
在许多MapReduce应用的场景中,如果能在向reducer分发mapper结果之前做一下“本地化Reduce”.一wordcount为例子,如果作业处理中的文件单词中"the"出现了574次,存储并shuffling一次(“the”,574)key/valuthe对比许多次("the",1)更有效。这个过程叫做合并(Combiner).
hadoop 通过扩展MapReduce框架,在mapper何reducer之间增加了一个combine解决了了这些瓶颈问题。你可以把combiner是为reducer的助手,它致力于减少mapper的输出以降低reducer上的压力。如果我们定义了一个combiner,MapReduce使用它的次数可以使0次,1次或者更多次。为了让combiner能正常的工作,它和reducer的数据转换必须等价。如果我们去掉了combine,reducer的输入应该是不变化的。当combiner被应用于中间数据中的任意子集时,仍然需要保持等价的转换特性。在一些场景下,combine的角色时十分明显的。假设reducer仅仅处理分配性函数,如max,min和count时,我们可以直接使用使用reducer作为combiner,但是有时候许多有用的函数不是分配性的。我们就可以重写其中的一些函数,例如求average,从而调用combiner
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。