Spark 传奇行动目录

我把这个部份称之为Spark世界的【九阴真经】，是 Spark学习者增强内功的首选地方。

• 第28课：Spark天堂之门解密 (点击进入博客)
  从 SparkContext 创建3大核心对象开始到注册给 Master 这个过程中的源码鉴赏
  
• 第29课：Master HA彻底解密 (点击进入博客)
  从 Master 如何基于 ZooKeeper 来做 HA 的源码鉴赏
• 第30课：Master的注册机制和状态管理解密 (点击进入博客)
  从 Master 的角度去分析它是如何接收 Worker, Driver, Application 的注册，以及它是如何管理 Driver 和 Executor 状态变化的源码鉴赏
• 第31课：Spark资源调度分配内幕天机彻底解密：Driver在Cluster模式下的启动、两种不同的资源调度方式源码彻底解析、资源调度内幕总结 (点击进入博客)
  从 Spark 资源调度的角度去分析Worker与应用程序是如何获得计算资源的源码鉴赏
• 第32课：Spark Worker 原理和源码剖析解密：Worker工作流程图、Worker启动Driver源码解密、Worker启动Executor源码解密等 (点击进入博客)
  从 Worker 的角度去分析它是如何启动 Driver、Executor 和与 Master 交互的源码鉴赏
• 第33课：Spark Executor内幕彻底解密：Executor工作原理图、ExecutorBackend注册源码解密、Executor实例化内幕、Executor具体工作内幕 (点击进入博客)
  从 Executor 的角度去分析它是如何注册和 CoarseGrainedExecutorBackend 与 CoarseGrainedSchedulerBackend 两者之间是如何交互的源码鉴赏

Spark 案例与性能调优目录

九阴真经确实是厉害，如果你要我对 Spark 案例与性能调优也用一本经书来比如的话，我会毫不犹豫地说，它就是我一直想找的【玉女心经】

• 第20课：大数据性能调优的本质和Spark性能调优要点分析
  第21课：Spark性能调优之系统资源使用原理和调优最佳实践
  第22课：Spark性能调优之使用更高性能算子及其源码剖析
  (点击进入博客)
• 第23课：Spark旧版本中性能调优之HashShuffle剖析及调优(内含大数据Shuffle本质及其思考)
  第24课：彻底解密Shuffle是如何成为Spark性能杀手的及调优点思考
  第25课：Spark Hash Shuffle源码解读与剖析
  (点击进入博客)

Spark 从入门到精通学习笔记大纲