首页 > 代码库 > Hadoop-2.2.0中文文档—— MapReduce下一代- 可插入的 Shuffle 和 Sort
Hadoop-2.2.0中文文档—— MapReduce下一代- 可插入的 Shuffle 和 Sort
简介
可插入的 shuffle 和 sort 功能，允许在shuffle 和 sort 逻辑中用可选择的实现类替换。这个情况的例子是：用一个不是HTTP的应用协议，如RDMA来 shuffle 从Map节点中到Reducer节点的数据；或者用自定义的允许 Hash聚合和Limit-N查询的算法来代替sort逻辑。
重要: 可插入的 shuffle sort 功能是实验性的、不稳定。这意味着提供的API可能改变或破坏未来Hadoop版本的兼容性。
实现一个自定义的 Shuffle 和 Sort
一个自定义的 shuffle 实现需要一个 org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.AuxiliaryService 在 NodeManagers 上运行的实现类和 org.apache.hadoop.mapred.ShuffleConsumerPlugin 在Reducer任务上运行的实现类。
由 Hadoop 提供的默认实现可以作为参考：
org.apache.hadoop.mapred.ShuffleHandlerorg.apache.hadoop.mapreduce.task.reduce.Shuffle
一个自定义的 sort 实现需要一个 org.apache.hadoop.mapred.MapOutputCollector 在Mapper任务上运行的实现类和(可选的，依赖于sort实现)实现类一个 org.apache.hadoop.mapred.ShuffleConsumerPlugin在Reducer任务上运行的实现类。
由 Hadoop 提供的默认实现可以作为参考：
org.apache.hadoop.mapred.MapTask$MapOutputBufferorg.apache.hadoop.mapreduce.task.reduce.Shuffle
配置
除了运行在 NodeManagers 上的辅助的服务帮助 shuffle(默认是 ShuffleHandler)，所有的可插入组件运行在作业任务上。这意味着，他们在每一个作业上配置。帮助Shuffle 的辅助服务必须在NodeManager上进行配置。
Job 配置属性 (在每个作业上):
| 属性 | 默认值 | 说明 |
mapreduce.job.reduce.shuffle.consumer.plugin.class | org.apache.hadoop.mapreduce.task.reduce.Shuffle | 要用的 ShuffleConsumerPlugin实现 |
mapreduce.job.map.output.collector.class | org.apache.hadoop.mapred.MapTask$MapOutputBuffer | 要用的 MapOutputCollector实现 |
这些属性也可以在 mapred-site.xml 中配置，以对所有作业修改默认值。
NodeManager 属性配置, yarn-site.xml,所有节点上:
| 属性 | 默认值 | 说明 |
yarn.nodemanager.aux-services | ...,mapreduce_shuffle | 辅助的服务名 |
yarn.nodemanager.aux-services.mapreduce_shuffle.class | org.apache.hadoop.mapred.ShuffleHandler | 要用的辅助的类 |
重要: 如果在默认的 mapreduce_shuffle 服务之外设置一个辅助的服务，那么新的服务key 应该添加到 yarn.nodemanager.aux-services 属性中,例如 mapred.shufflex. 然后属性定义相关的类必须是 yarn.nodemanager.aux-services.mapreduce_shufflex.class.