首页 > 代码库 > hadoop运行原理之作业提交(一)
hadoop运行原理之作业提交(一)
这部分的计划是这样的,首先解释JobTracker的启动过程和作业从JobClient提交到JobTracker上;然后;最后将整个流程debug一遍来加深映象。
在看JobTracker源代码的时候就会发现,它里边有main()方法,这就说明了它是一个独立的java进程。在hadoop根目录下的bin文件夹中的hadoop脚本中可以看到,它指定了JobTracker类。如下图所示:
JobTracker的main()方法中最主要的是以下两条语句:
1 public static void main(String argv[] 2 ) throws IOException, InterruptedException { 3 StringUtils.startupShutdownMessage(JobTracker.class, argv, LOG); 4 5 try { 6 if(argv.length == 0) { 7 JobTracker tracker = startTracker(new JobConf());//用来生成JobTracker对象 8 tracker.offerService();//初始化JobTracker,并启动作业调度器 9 }10 else {11 if ("-dumpConfiguration".equals(argv[0]) && argv.length == 1) {12 dumpConfiguration(new PrintWriter(System.out));13 }14 else {15 System.out.println("usage: JobTracker [-dumpConfiguration]");16 System.exit(-1);17 }18 }19 } catch (Throwable e) {20 LOG.fatal(StringUtils.stringifyException(e));21 System.exit(-1);22 }23 }
startTracker()方法比较简单,通过几次方法调用最终生成JobTracker对象。下面重点分析offerService()方法。由于篇幅限制,只列出了最重要的部分:
1 public void offerService() throws InterruptedException, IOException { 2 ...... 3 4 // Initialize the JobTracker FileSystem within safemode 5 setSafeModeInternal(SafeModeAction.SAFEMODE_ENTER); 6 initializeFilesystem(); 7 setSafeModeInternal(SafeModeAction.SAFEMODE_LEAVE); 8 9 // Initialize JobTracker10 initialize();11 12 ......13 taskScheduler.start();
首先进入安全模式下(SAFEMODE_ENTER),初始化文件系统,然后退出安全模式(SAFEMODE_LEAVE)。然后初始化JobTracker。最后启动作业调度器(TaskScheduler)。默认的作业调度器是JobQueueTaskScheduler,在mapred-default.xml中配置。所以taskScheduler.start()会调用JobQueueTaskScheduler的start()方法。如下所示:
JobQueueTaskScheduler使用FIFO来对job进行调度。下面来进入到JobQueueTaskScheduler来分析start()方法。
1 @Override2 public synchronized void start() throws IOException {3 super.start();4 taskTrackerManager.addJobInProgressListener(jobQueueJobInProgressListener);5 eagerTaskInitializationListener.setTaskTrackerManager(taskTrackerManager);6 eagerTaskInitializationListener.start();7 taskTrackerManager.addJobInProgressListener(8 eagerTaskInitializationListener);9 }
这里用到了观察者模式,JobQueueTaskScheduler向JobTracker注册了两个JobInProgressListener:EagerTaskInitializationListener和JobQueueJobInProgressListener,分别用于作业初始化和作业排序。
这里的taskTrackerManager实际上是JobTracker,因为JobTracker的父类就是TaskTrackerManager。在JobTracker的startTracker()方法中,将JobTracker实例传递给TaskTrackerManager。如下所示:
1 public static JobTracker startTracker(JobConf conf, String identifier, boolean initialize) 2 throws IOException, InterruptedException {3 DefaultMetricsSystem.initialize("JobTracker");4 JobTracker result = null;5 while (true) {6 try {7 result = new JobTracker(conf, identifier);8 result.taskScheduler.setTaskTrackerManager(result);9 ......
在eagerTaskInitializationListener.start()方法中,
啊发生
本文基于hadoop1.2.1
如有错误,还请指正
参考文章:《Hadoop权威指南》 Tom White
转载请注明出处:http://www.cnblogs.com/gwgyk/p/3997849.html
hadoop运行原理之作业提交(一)