首页 > 代码库 > Spark开源学习模块
Spark开源学习模块
Spark开源的各模块组成结构:
1. Narrow dependency——窄依赖,子RDD依赖于父RDD中固定的data partition。
2. Stage——分为多个阶段进行作业。
3. Wide Dependency——宽依赖,子RDD对父RDD中的所有data partition依赖。
4. RDD——Resillient Distributed Dataset 分布式数据集。
5. Operation——作用于RDD的各种操作分为transformation和action。
6. Job——作业,一个JOB包含多个RDD及作用于相应RDD上的各种operation。
7. Partition——数据分区, 一个RDD中的数据分成不同的多个区。
8. DAG——Directed Acycle graph,有向无环图,RDD之间的依赖关系。
9. Caching Managenment——缓存管理,对RDD的中间计算结果进行缓存管理以加快整体的处理速度。
参考资料(reference)
1.Lightning-Fast Cluster Computing with Spark and Shark
2.Introduction to Spark Internals
3.Resilient Distributed Datasets: A Fault-tolerant Abstraction for In-Memory Cluster Computing
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。