spark基于Zookeeper配置高可用

我们设置的单点master,一旦崩了master就无法正常使用,我们配置的集群是三台的,一个master和三个worker.

首先我们先配置好三台机器的zookeeper然后启动,之后我们需要修改一下spark下的配置

#原本指定了SPARK_MASTER_HOST和SPARK_MASTER_PORT的注释掉
#换上
export JAVA_HOME=/bigdata/jdk
SPARK_MASTER_WEBUI_PORT=8989 #防止端口冲突
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=master,slave1,slave2
-Dspark.deploy.zookeeper.dir=/spark
"

我的配置呢我在sbin下的start-master.sh文件里修改了webui的端口,然后配置里设置了之后会覆盖

配置完之后分发

分发之后我们在主master下sbin/start-all.sh启动,现在启动的还是原来的一个master和三个worker

之后我们需要在另外两台机器上单独启动master,sbin/start-master.sh

启动完之后就会每个集群都有master和worker,但是其中的状态是不同的,我们需要到webui下查看

如下:

master机器

slave1机器

slave2机器

我们可以发现其余两个status状态都是standby

然后测试一下

我们到slave1第二台机器上执行

bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077,slave1:7077,slave2:7077 ./examples/jars/spark-examples_2.11-2.4.7.jar 10

运行看到结果就ok!

然后我们模拟一下master主机上的spark崩了

我们切换到master输入jps查看一下master的端口

输入 kill -9 37296

输入jps查看发现master不存在了

webui的master无法进入了,过一段时间zookeeper就会让其他机器的master更换状态

这里我们发现第三台机器模式更换了说明已经正常,可以继续提供服务

至此结束,谢谢!