首页 > 代码库 > 选择 reducer 的个数
选择 reducer 的个数
默认情况下，一个 mapreduce job 只有一个 reducer ，真实应用中，作业都把它设置成一个较大的数字，否则由于所有的中间数据都会放到一个 reducer 任务中，造成性能瓶颈。
reducer 最优个数与集群中可用的 reducer 任务槽数相关。总槽数由集群中节点数与每个节点的任务数相乘得到。每个节点的任务槽数由 mapred.tasktracker.reduce.tasks.maximum 属性的值决定，默认为 2 。
常用的方法是设置的 reducer 数比总槽数稍微少一些，给 reducer 任务留点余地，容忍一些错误发生而不需要延长作业运行时间。
hadoop 文档中推荐的两个公式计算 reducer 任务数的公式：
0.95 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
1.75 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
备注：NUMBER_OF_NODES 是集群中的计算节点个数
在代码中通过 JobConf. setNumReduceTasks(int numOfReduceTasks) 函数设置 reducer 的个数
reducer 最优个数与集群中可用的 reducer 任务槽数相关。总槽数由集群中节点数与每个节点的任务数相乘得到。每个节点的任务槽数由 mapred.tasktracker.reduce.tasks.maximum 属性的值决定，默认为 2 。
常用的方法是设置的 reducer 数比总槽数稍微少一些，给 reducer 任务留点余地，容忍一些错误发生而不需要延长作业运行时间。
hadoop 文档中推荐的两个公式计算 reducer 任务数的公式：
0.95 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
1.75 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
备注：NUMBER_OF_NODES 是集群中的计算节点个数
在代码中通过 JobConf. setNumReduceTasks(int numOfReduceTasks) 函数设置 reducer 的个数
选择 reducer 的个数
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。