首页 > 代码库 > RDD的依赖关系
RDD的依赖关系
RDD的依赖关系
子RDD和它依赖的父RDD(s)的关系有两种不同的类型,窄依赖(narrow dependency)和宽依赖(wide dependency)。
窄依赖
指的是每一个父RDD的Partition最多被子RDD的一个Partition使用
宽依赖
指的是多个子RDD的Partition会依赖同一个父RDD的Partition,一般就是通过宽依赖划分Stage
Lineage
RDD只支持粗粒度转换,即在大量记录上执行的单个操作。将创建RDD的一系列Lineage(即血统)记录下来,以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为,当该RDD的部分分区数据丢失时,它可以根据这些信息来重新运算和恢复丢失的数据分区。
RDD的依赖关系
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。