kafka可视化工具整理(七)

零、主流kafka可视化工具有两种

①安装在本地的服务,通过网络连接kafka拉取数据并展示 比如:offsetexplorer 应用

②安装在服务器上应用,通过服务器自行拉取代码,对外提供Web,查看kafka的状态及数据。比如:kafdrop应用

一、本地服务 offsetexplorer

1、去kafkatool官网下载Offset Explorer,可以安装windows版本或者linux版本

下载安装

2、启动配置

后续就可以查看topic数据

修改文字类型如图

就可以正常看到数据了

二、Web服务 kafdrop

1、主要功能:

1、查看代理 -主题和分区分配以及控制器状态

2、查看主题 -分区数,复制状态和自定义配置

3、浏览消息 -,纯文本和Avro编码

4、查看消费者组 -每个分区的停放偏移量,合并延迟和每个分区滞后

5、创建新主题

6、查看ACL

2、安装步骤

①安装jdk11

②安装zookeeper

③安装kafka

④kafdrop源码下载

2、IDEA中使用maven打包成jar包

3、启动jar包带着以下命令

java --add-opens=java.base/sun.nio.ch=ALL-UNNAMED -jar kafdrop-3.29.0.jar --kafka.brokerConnect=1.2.3.4:9092 4、启动命令

startup.sh

java --add-opens=java.base/sun.nio.ch=ALL-UNNAMED -jar kafdrop-3.29.0.jar --kafka.brokerConnect=1.2.3.4:9092

restart.sh

ps -ef | grep kafdrop-3.29.0.jar | grep -v grep | awk {print $2} | xargs kill -9
rm -rf nohup.out
nohup ./startup.sh > nohup.out &

3、启动完成后

页面访问 1.2.3.4:9000 可以看到kafka集群页面。可以创建topic,删除topic,查看数据,查看分区等操作

三、kafka常用排错命令

kafka-topics.sh --create --bootstrap-server 1.2.3.4:9092 --replication-factor 3 --partitions 3 --topic test

kafka-topics.sh --list --bootstrap-server 1.2.3.4:9092

./kafka-consumer-groups.sh --bootstrap-server 1.2.3.4:9092 --list 查询group列表 ./kafka-consumer-groups.sh --bootstrap-server 1.2.3.4:9092 --describe --group test-group 查询group消费者情况

上篇文章:从零开始 kafka集群部署,拒绝挖坑,每一步都经过本人调试成功

kafka简介与集群部署安装(一)kafka使用+集成Java(二)

kafka+websocket示例(三)

完成前三步之后,后续就可以根据业务来定制不同的功能了,

接下来将扩展websocket功能

SpringBoot+websocket构造聊天室(四)

第六步:kafka实现消息队列 简单应用

第七步:kafka可视化工具整理

经验分享 程序员 微信小程序 职场和发展