RabbitMQ 如何保证消息顺序消费闭坑指南
顺序消息
在某些业务中,consumer在消费消息时,是需要按照生产者发送消息的顺序进行消费的,比如在电商系统中,订 单的消息,会有创建订单、订单支付、订单完成,如果消息的顺序发生改变,那么这样的消息就没有意义了。
public class OrderProducer { public static void main(String[] args) throws Exception{ DefaultMQProducer producer = new DefaultMQProducer("ORDER_PRODUCER"); producer.setNamesrvAddr("172.16.55.185:9876"); producer.start(); for (int i = 0; i < 100; i++) { String msgStr = "order --> " + i; int orderId = i % 10; // 模拟生成订单id Message message = new Message("order_topic","ORDER_MSG", msgStr.getBytes(RemotingHelper.DEFAULT_CHARSET)); SendResult sendResult = producer.send(message, (mqs, msg, arg) -> { Integer id = (Integer) arg; int index = id % mqs.size(); return mqs.get(index); }, orderId); System.out.println(sendResult); } producer.shutdown(); } }
相同订单id的消息会落到同一个queue中,一个消费者线程会顺序消费queue,从而实现顺序消费消息。
消费
public class OrderConsumer { public static void main(String[] args) throws Exception{ DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ORDER_CONSUMER"); consumer.setNamesrvAddr("172.16.55.185:9876"); consumer.subscribe("order_topic", "*"); consumer.registerMessageListener(new MessageListenerOrderly() { @Override public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) { System.out.println(Thread.currentThread().getName() + " Receive New Messages: " + msgs); return ConsumeOrderlyStatus.SUCCESS; } }); consumer.start(); } }
什么是消息顺序颠倒?
原本顺序发送的消息,因网络抖动或者其他原因造成顺序颠倒,是否是同源发出?
场景再现
生产者向消息队列按照顺序发送了 2 条消息,消息1:增加数据 A,消息2:删除数据 A。 期望结果:数据 A 被删除。 但是如果有两个消费者,消费顺序是:消息2、消息 1。则最后结果是增加了数据 A。
解决方案(Queue拆分、多个消费者)
将 Queue 进行拆分,创建多个内存 Queue,消息 1 和 消息 2 进入同一个 Queue。 创建多个消费者,每一个消费者对应一个 Queue。
Queue拆分、多个消费者可能依然无法解决此问题
单线程发、落到同一个队列,增加字段标记消息,单线程消费者根据标记落库,待相关消息落库之后,再顺序消费!
若为分布式场景则增加分布式锁