RocketMQ ConsumeQueue(消费队列)

说明

RocketMQ对新消息是顺序存在MapperFile上,但不同的Consumer需要订阅不同topic的数据,针对不同的Consumer,如果从原始数据进行数据拉取,这样效率非常低,有可能扫描完所有的MapperFile后,只有几条消息可供消费的。RocketMQ为了解决这种问题,引入了ConsumeQueue消费队列的概念:针对每一条消息,都会按topic和queueId进行分类。Consumer进行拉取消息时,Broker先从ConsumerQueue获取到待消费消息在CommitLog上的offset,根据offset从CommitLog中获取完整的消息。 ReputMessageService,会不停地检测是否有新的消息还未保存到ConsumerQueue中,当发现某条消息还未保存时,会将保存的任务分发给CommitLogDispatcherBuildConsumeQueue,然后保存到ConsumeQueue中。所以流程图大概如下:

ConsumerQueue建立过程

ConsumerQueue文件结构

总结

1、ConsumeQueue每条数据占20字节空间,包含三部分内容:消息的offset、消息大小size、tag的hashCode。单个ConsumeQueue文件最多保存30W条数据。 2、ConsumeQueue文件保存在${storePath}/topic/queueId/目录下。

经验分享 程序员 微信小程序 职场和发展