① Flink on yarn 集群搭建

前言

方便自己后面需要搭建的时候看看笔记就可以

准备工作

[root@node01 spark]# pwd #老规矩把安装包放在/try下
/try/flink
[root@node01 flink]# ll 
-rw-r--r--.  1 root root  255546057 Aug 18 03:56 flink-1.9.2-bin-scala_2.11.tgz

机器分布

环境变量

#在node01,node02,node03上都配置一下
export FLINK_HOME=/try/flink/flink-1.9.2

配置文件

1. slaves 配置文件

node02
node03

2. msters 配置文件

node01:8081
node02:8081

3. flink-conf.yaml 配置文件

jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 2
parallelism.default: 1
high-availability: zookeeper
high-availability.storageDir: hdfs://node01:9001/flink/ha/
high-availability.zookeeper.quorum: node01:2181,node02:2181,node03:2181

4. 将整包发送到node02,node03

scp -r ./flink-1.9.2/ node02:`pwd`
scp -r ./flink-1.9.2/ node03:`pwd`

启动/关闭

#启动 zookeeper
[root@node01 sbin]# zkServer.sh start
#启动 yarn 和 hdfs
[root@node01 sbin]# start-all.sh
#启动 jobmanager
[root@node01 sbin]# yarn-session.sh  -n 1 -s 1 -nm flink-session -d
#启动 taskmanager
[root@node01 sbin]# cd /try/flink
[root@node01 flink]# ll
total 249776
drwxr-xr-x. 10  502 games       156 Jan 24  2020 flink-1.9.2
-rw-r--r--.  1 root root  255546057 Aug 18 03:56 flink-1.9.2-bin-scala_2.11.tgz
-rw-r--r--.  1 root root     217284 Aug 18 09:55 try-scala-spark-1.0-SNAPSHOT.jar #demo 程序
# yarn seesion模式
[root@node01 flink]# yarn-session.sh  -n 3 -s 3 -nm flink-session  -d -q
[root@node01 flink]# flink run -c com.ww.flink.Flink_try01 try-scala-spark-1.0-SNAPSHOT.jar
# Run a Flink job on YARN模式
[root@node01 flink]# flink run -m yarn-cluster -yn 3 -ys 3 -ynm flink-job -c com.ww.flink.Flink_try01 try-scala-spark-1.0-SNAPSHOT.jar -d

web ui

http://node01:8088/cluster

http://node01:8088/proxy/application_1660922958466_0005/#/overview