kafka查询指定消费Group未消费的数据

最近线上出现kafka生产者发送成功了,但是消费者没有拉取到,出现这种现象是偶发的,就是在几分钟内有几个消息没消费到,后面就没再出现过。

首先先去卡夫卡上确认是否有消息堆积

下载kafka(不是src版的哦):

下载完毕后,解压到指定的文件夹中

1、查询topic,进入kafka目录:

./bin/kafka-topics.sh --list --zookeeper 172.16.331.120:2181

2.查询消费者组列表

./bin/kafka-consumer-groups.sh --bootstrap-server 172.16.331.120:11000 --list

查询结果

3.查询指定的组各topic消息消费情况

./bin/kafka-consumer-groups.sh --bootstrap-server 172.16.331.120:11000 --describe --group op-order-core

查询结果

标记解释:

TOPIC topic名字 PARTITION 分区id CURRENT-OFFSET 当前已消费的条数 LOG-END-OFFSET 总条数 LAG 未消费的条数 CONSUMER-ID 消费id HOST 主机ip CLIENT-ID 客户端id

经过上面查询过后没发现有消息积压,所以怀疑为网络抖动造成消息实际上没有发送成功,代码在没接收到成功消息时,自认为为已成功。

再继续深入挖掘...

经验分享 程序员 微信小程序 职场和发展