首页 > 代码库 > yarn环境跑mapreduce报错某个container 600s未报告进度超时被杀
yarn环境跑mapreduce报错某个container 600s未报告进度超时被杀
问题:
发现每次reduce阶段跑到98%,相关的container被杀,报出的log大概的意思:container 600s未报告进度超时被杀
解决办法:
在mapreduce程序里加上
conf.set("mapred.task.timeout", "0"); //不检查超时
重新打包运行,最后没有出现错误,但是运行很长时间,总算运行完了,怀疑程序问题有大循环
最后检查reduce发现会有双层循环,有可能会非常大,导致卡在reduce内部,长时间没有进行任何的读写,也就没有汇报他的进度情况
总结
问题的原因起于对于悬挂的task,如果NMr在一段时间(默认是10min,可以通过mapred.task.timeout属性值来设置,单位是毫秒)内一直没有收到它的进度报告,则把它标记为失效yarn环境跑mapreduce报错某个container 600s未报告进度超时被杀
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。