首页 > 代码库 > Partioner的理解

Partioner的理解

  1. partioner在Hadoop中是干什么的?

    其实这个都是为shuffle服务的,怎么说,其实就是根据一些策略,将这个分区里面的那些数据分配给哪个reducer,举个例子,有很多关键字key1,text1,key2,text2,有两个reducer1,reducer2,为什么会将key1,走的是reduce1,key2,走的是reduce2,为什么会这样,这就看它分区的策略了。

  2. partioner可以自定义策略,来进行分区的?

    现在有很多方法,有hashPartioner,还有其他parttioner,但是你必须有那么多的reducer,所以你必须要进行设置reducer的个数,如果太多,它只会按照应该partioner中认为的个数进行计算,如果太少,它就只能用那么几个。

本文出自 “简答生活” 博客,请务必保留此出处http://1464490021.blog.51cto.com/4467028/1927017

Partioner的理解