首页 > 代码库 > mapreduce_shuffle does not exist

mapreduce_shuffle does not exist

mapreduce_shuffle does not exist

 

提交作业出现类似下面的错误:

 

mapreduce_shuffle does not exist  

 

解决办法:

 

yarn-site.xml 配置文件中增加:

<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property> 

 

重启就ok了

这个问题其实是由于

 

yarn.nodemanager.aux-services  


配置错误或者没有配置,其实,如果没有配置这个参数应该会有默认值。这是目前版本的一个小bug:

 技术分享

 

 


 

当然如果写错了也会出错,比如写成这样:  “-”  写成  “.”  了:

技术分享

所以在搭建环境的时候一定要认真。

 

 

 

mapreduce_shuffle does not exist