Master基于ZooKeeper的HighAvailability源码实现

如果Spark的部署方式选择Standalone,一个采用Master/Slaves的典型架构,那么Master是有SPOF(单点故障,SinglePointofFailure)。Spark可以选用ZooKeeper来实现HA。ZooKeeper提供了一个LeaderElection机制,利用这个机制可以保证虽然集群存在多个Master但是只有一个是Active的,其他的都是Standby,当Active的Master出现故障时,另外的一个StandbyMaster会被选举出来。由于集群的信息,包括Worker,Driver和Application的信息都已经持久化到文件系统,因此在切换的过程