Reduce数决定中间或落地文件数，文件大小和Block大小无关。

1、Reduce个数的决定因素

reduce个数的设定极大影响任务执行效率，不指定reduce个数的情况下，Hive会猜测确定一个reduce个数，基于以下两个设定：

参数1：hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G)

参数2：hive.exec.reducers.max（每个作业最大的reduce数，默认为999）

计算reducer数的公式

N=min(参数2，总输入数据量/参数1)

即：如果reduce的输入（map的输出）总大小不超过1G，那么只会有一个reduce任务；

案例：

select pt,count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04‘ group by pt; 

文件存放位置：/group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04

总大小为9G多，因此这句有10个reduce

最佳实践：通常情况下，有必要手动指定reducer的个数。考虑到map阶段的输出数据量通常会比输入有大幅减少，因此即使不设定reducer个数，重设hive.exec.reducers.max也是很有必要的。依据hadoop的经验，可以将reducer的个数设定为0.95*集群中TaskTracker的个数。

2、Reduce数过大或过小引发的问题

Reduce数过大将导致：

1)  生成了很多个小文件（最终输出文件有reduce决定，一个reduce一个文件，输出文件的大小和设置的block的大小是没有关系的），那么如果这些小文件作为下一个Job输入，则也会出现小文件过多需要进行合并的问题；

2)  启动和初始化reduce也会消耗时间和资源；

3)  有多少个reduce就会有多少个输出文件；

Reduce数过小将导致：

1)  执行耗时；

2)  可能出现数据倾斜（比如：500个map只有1个reduce）；

3、调整Reduce个数

调整reduce个数方法一： 调整hive.exec.reducers.bytes.per.reducer参数的值；

案例：

set hive.exec.reducers.bytes.per.reducer=500000000; （500M）

select pt,count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04‘ group by pt; 

这次有20个reduce

调整reduce个数方法二：mapred.reduce.tasks

Hive中默认值是1；

案例：

在多个作业共享的某个结果集的数据job时，如果只设定了一个reduce，则该job只有一个输出文件，那么后续的多个job使用该job的输出时，只能使用一个map进行处理，速度会非常慢；可以通过设置共享作业的reduce数使得有多个输出，则后续的job就可以多个map并行处理；现实环境中需要根据实际的数据流来设置reduce的个数；

那么如何查询文件的数据量呢？

hadoop fs -du 文件名 

根据实际数据量来设定合适的reduce个数；

多个作业共享的某个结果集的数据job或者某个job被后边多个job多次引用，可设大该参数（reduce数），以便增大后续访问的Map数。

如果某个job执行完毕后的数据不会再被后续的job继续使用，就无所谓是否通过手工指定reduce数了。

案例：

set mapred.reduce.tasks = 15;
select pt,count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04‘ group by pt;

这次有15个reduce

4、只有一个Reduce数的常见场景

很多时候你会发现任务中不管数据量多大，不管你有没有设置调整reduce个数的参数，任务中一直都只有一个reduce任务（数据倾斜的表象之一）；

1)  除了数据量小于hive.exec.reducers.bytes.per.reducer参数值的情况外；

2)   没有group by的汇总（group by key会按照不同的key分发到不同的reduce上）；

比如把select pt,count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04‘ group by pt; 

写成 select count(1) from popt_tbaccountcopy_mes where pt = ‘2012-07-04‘；

3)   用了order by（整个作业排序，性能低）；

5、Reduce数总结

在设置reduce个数的时候也需要考虑这两个原则：

1)  使大数据量利用合适的reduce数；

2)  使单个reduce任务处理合适的数据量；