首页 > 代码库 > Hadoop中作业(job)、任务(task)和task attempt
Hadoop中作业(job)、任务(task)和task attempt
hadoop中,MapReduce作业(job)ID的格式为job_201412081211_0002。这表示该作业是第二个作业(作业号从0001开始),作业开始于2014年12月8号12:11。
任务(task)属于作业,通过使用"task"替换作业ID的"job"前缀,然后在后面加上一个后缀表示哪个作业中间的任务。例如:task_201412081211_0002_m_000003,表示该任务属于job_201412081211_0002作业的第三个map任务(000003)。
由于MapReduce中的Map或者Reduce任务可能执行失败,以及Hadoop推测执行的原因,Map或者Reduce任务可能被多次执行,这就是task attempt。其ID形式为:attempt_201412081211_0002_m_000003_0,这表示该attempt属于task_201412081211_0002_m_000003任务的第一个attempt。
Hadoop中作业(job)、任务(task)和task attempt
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。