首页 > 代码库 > MapReduce ChainMapper/ChainReducer
MapReduce ChainMapper/ChainReducer
The ChainMapper class allows to use multiple Mapper classes within a single Map task.
The ChainReducer class allows to chain multiple Mapper classes after a Reducer within the Reducer task.
没有Chain之前，只能通用多个Job迭代来实现数据递进处理，这样做的缺点是：
a. 每次迭代，如果所有 Job 对象重复创建，代价将非常高。
b. 每次迭代，数据的 I/O和网络传输的代价比较大；
MapReduce工作流三种方式：迭代；JobControl依赖；Chain链式结构；
--------
示例参考：http://www.iteye.com/topic/1134144 （多个mapper执行不同操作，reducer合并处理后，再对唯一字段进行处理）
http://blog.csdn.net/genghaihua/article/details/46910865
MapReduce ChainMapper/ChainReducer
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。