首页 > 代码库 > Hadoop的Combiner

Hadoop的Combiner

在许多MapReduce应用的场景中,如果能在向reducer分发mapper结果之前做一下“本地化Reduce”.一wordcount为例子,如果作业处理中的文件单词中"the"出现了574次,存储并shuffling一次(“the”,574)key/valuthe对比许多次("the",1)更有效。这个过程叫做合并(Combiner).

hadoop 通过扩展MapReduce框架,在mapper何reducer之间增加了一个combine解决了了这些瓶颈问题。你可以把combiner是为reducer的助手,它致力于减少mapper的输出以降低reducer上的压力。如果我们定义了一个combiner,MapReduce使用它的次数可以使0次,1次或者更多次。为了让combiner能正常的工作,它和reducer的数据转换必须等价。如果我们去掉了combine,reducer的输入应该是不变化的。当combiner被应用于中间数据中的任意子集时,仍然需要保持等价的转换特性。在一些场景下,combine的角色时十分明显的。假设reducer仅仅处理分配性函数,如max,min和count时,我们可以直接使用使用reducer作为combiner,但是有时候许多有用的函数不是分配性的。我们就可以重写其中的一些函数,例如求average,从而调用combiner