首页 > 代码库 > spark基于Zookeeper的HA集群重启
spark基于Zookeeper的HA集群重启
1、首先应该了解,spark集群基于Zookeeper的HA实现
当master挂了之后,会重新ElectLeader,不会影响Application的运行。默认的Zookeeper"/spark"目录下,会持久化driver,worker,master等信息。
2、Application需要重新submit的情况是在重启Driver所在的机器的时候,也就是说Driver一旦挂了,那么只有重新去提交Application这一途径。
3、重启步骤:
01,02,03三台master机器。
master01,master02,master03上分别运行worker01,worker02,worker03,Application提交的任务在worker03上。
master01是ALIVE状态。
重启:
当重启01机器时候,master会切到02,同时WebUI页面Application依旧会运行。
接着重启机器02,情况与重启01类似。
最后重启03,重启03后,Application状态会变为UNKNOWN,之后变为FINISH,此时需要重新提交你的Application
spark基于Zookeeper的HA集群重启
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。