首页 > 代码库 > hadoop 多目录输入，map到reduce如何排序

hadoop 多目录输入，map到reduce如何排序

2024-07-09 15:09:43   221人阅读

使用MultipleInputs.addInputPath 对多个路径输入
现在假设有三个目录，并使用了三个mapper去处理，
经过map处理后，输出的结果会根据key 进行join，
如果使用TextPair，会根据第一个字段jion，第二个字段排序
然后在作为reduce的输入，进行计算


联系
我们