首页 > 代码库 > Hadoop:Task process exit with nonzero status of 1 异常
Hadoop:Task process exit with nonzero status of 1 异常
在运行hadoop程序时经常遇到异常 java.io.IOException: Task process exit with nonzero status of 1。网上很多博文都说是磁盘不够的问题。
其实我很多时候遇到这个问题是因为程序抛出org.apache.hadoop.mapred.Child: Error running child : java.lang.OutOfMemoryError: unable to create new native thread这个问题导致程序失败并删除掉工作区间,最终导致文件无法读写。因此,通常抛出这个问题也有可能是因为内存溢出。
解决方法:
1. 增大hadoop-env.sh 中HADOOP_HEAPSIZE的值
2 .增大 mapred-site.xml 中mapred.child.java.opts的值(默认为200M)
<property><name>mapred.child.java.opts</name><value>-Xmx2048m</value></property>
3. 减小 mapred-site.xml中mapred.tasktracker.map.tasks.maximumde和mapred.tasktracker.reduce.tasks.maximum的值
<property><name>mapred.tasktracker.map.tasks.maximum</name><value>15</value></property>
Hadoop:Task process exit with nonzero status of 1 异常
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。