首页 > 代码库 > 在执行生成Hfile的MR任务的时候出现client端的OOM

在执行生成Hfile的MR任务的时候出现client端的OOM

2024-07-11 11:01:34   222人阅读

在执行MR将HDFS转换为HFile的时候，出现了如下异常：

14/07/09 18:02:59 INFO mapred.JobClient:  map 83% reduce 0%
14/07/09 18:02:59 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_0, Status : FAILED
attempt_201401091245_59030413_m_000001_0: Separator: \u0001
14/07/09 18:03:01 INFO mapred.JobClient:  map 85% reduce 0%

14/07/09 18:03:22 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_1, Status : FAILED
Error: Java heap space
attempt_201401091245_59030413_m_000001_1: Separator: \u0001

出现了client端的OOM，导致任务执行失败。

这个的解决方案是在Hadoop的配置文件hadoop-site.xml中，添加如下配置：

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx4096m</value>
</property>
通过加内存的方式，解决问题！


联系
我们