首页 > 代码库 > SparkContext的初始化过程分析(源码)

SparkContext的初始化过程分析(源码)

  技术分享

 

技术分享

技术分享

技术分享

 

 SparkContext的构造函数中,最重要的入参是SparkConf

技术分享

 

 根据初始化入参生成SparkConf

技术分享

 

再根据SparkConf来创建SparkEnv

技术分享

技术分享

 

 

 

 技术分享

技术分享

技术分享

技术分享

 

 

 TaskScheduler.start的目的,是启动相应的SchedulerBackend,并启动定时器进行检测。

技术分享

 

技术分享

技术分享

技术分享

 

 

 

 技术分享

技术分享

 

 

 技术分享

技术分享

 

 

 

 

 总结

 

技术分享

技术分享

技术分享

         技术分享

 

        技术分享

 

SparkContext的初始化过程分析(源码)