首页 > 代码库 > spark运行模式

spark运行模式

Spark有以下四种运行模式:

  • local:本地单进程模式,用于本地开发测试Spark代码;
  • standalone:分布式集群模式,Master-Worker架构,Master负责调度,Worker负责具体Task的执行;
  • on yarn/mesos:运行在yarn/mesos等资源管理框架之上,yarn/mesos提供资源管理,spark提供计算调度,并可与其他计算框架(如MapReduce/MPI/Storm)共同运行在同一个集群之上;
  • on cloud(EC2):运行在AWS的EC2之上

可以参考:http://www.36dsj.com/archives/8001和http://www.ituring.com.cn/tupubarticle/5373

spark运行模式