首页 > 代码库 > Hadoop中作业(job)、任务(task)和task attempt

Hadoop中作业(job)、任务(task)和task attempt

hadoop中,MapReduce作业(job)ID的格式为job_201412081211_0002。这表示该作业是第二个作业(作业号从0001开始),作业开始于2014年12月8号12:11。
     
任务(task)属于作业,通过使用"task"替换作业ID的"job"前缀,然后在后面加上一个后缀表示哪个作业中间的任务。例如:task_201412081211_0002_m_000003,表示该任务属于job_201412081211_0002作业的第三个map任务(000003)。

由于MapReduce中的Map或者Reduce任务可能执行失败,以及Hadoop推测执行的原因,Map或者Reduce任务可能被多次执行,这就是task attempt。其ID形式为:attempt_201412081211_0002_m_000003_0,这表示该attempt属于task_201412081211_0002_m_000003任务的第一个attempt。

Hadoop中作业(job)、任务(task)和task attempt