首页 > 代码库 > Partioner的理解
Partioner的理解
partioner在Hadoop中是干什么的?
其实这个都是为shuffle服务的,怎么说,其实就是根据一些策略,将这个分区里面的那些数据分配给哪个reducer,举个例子,有很多关键字key1,text1,key2,text2,有两个reducer1,reducer2,为什么会将key1,走的是reduce1,key2,走的是reduce2,为什么会这样,这就看它分区的策略了。
partioner可以自定义策略,来进行分区的?
现在有很多方法,有hashPartioner,还有其他parttioner,但是你必须有那么多的reducer,所以你必须要进行设置reducer的个数,如果太多,它只会按照应该partioner中认为的个数进行计算,如果太少,它就只能用那么几个。
本文出自 “简答生活” 博客,请务必保留此出处http://1464490021.blog.51cto.com/4467028/1927017
Partioner的理解
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。