首页 > 代码库 > Spark任务流程笔记

Spark任务流程笔记

Spark学习笔记总结

02. Spark任务流程

1. RDD的依赖关系

RDD和它依赖的父RDD(s)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)

  • 窄依赖
    窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用
    总结:窄依赖我们形象的比喻为独生子女
  • 宽依赖
    宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition

总结:窄依赖我们形象的比喻为超生(多个子女)
查看RDD依赖关系:
整个树形结构:rdd.toDebugString
本身:rdd.dependencies

2. DAG的生成

DAG,有向无环图,原始的RDD通过一系列的转换就就形成了DAG,根据RDD之间的依赖关系的不同将DAG划分成不同的Stage,对于窄依赖,partition的转换处理在Stage中完成计算。对于宽依赖,由于有Shuffle的存在,只能在parent RDD处理完成后,才能开始接下来的计算,因此宽依赖是划分Stage的依据。

3. Spark任务执行流程

 

大致分为4步:

  1. 根据算子生成DAG
  2. 将DAG根据宽依赖切分成任务集合的stages
  3. Driver将具体任务分发给Worker
  4. Worker中的executor执行任务
  5. DAGScheduler和TaskScheduler都在Driver中

4. wordcount执行流程

1. wc示例代码
//textFile会产生两个RDD: 1. HadoopRDD -> MapPartitionsRDD
sc.textFile(INPUT_PATH)
  //flatMap产生1个RDD:MapPartitionsRDD
  .flatMap { _.split(" ") }
  //map产生1个RDD:MapPartitionsRDD
  .map { (_, 1) }
  //reduceByKey产生了:ShuffledRDD
  .reduceByKey(_ + _)
  //暂时不管
  .sortBy(_._2, false)
  //saveAsTextFile产生1个RDD:MapPartitionsRDD
  .saveAsTextFile(OUTPUT_PATH)

一共产生了6个RDD

2. 执行流程-切分stage

执行流程:

  1. 根据宽依赖划分成了两个stage,后面一个stage需要等待前一个计算完成
  2. 第一个stage中的taskSet包含了3个task
  3. 一个task就是一个流水线pipelining,可以与其他task并行执行,在这里,任务内容是相同的,只是数据不同。

初接触,记下学习笔记,还有很多问题,望指导,谢谢。

Spark任务流程笔记