mobile wallpaper 1mobile wallpaper 2mobile wallpaper 3mobile wallpaper 4
3188 words
8 minutes
MQ 从 0 到 1(一):为什么需要消息队列
2025-08-03
2026-09-28

订单接口里多加一次短信调用,代码可能只多一行,用户却要多等几百毫秒。短信服务一旦超时,还可能把已经创建成功的订单一起显示成“下单失败”。

消息队列要解决的,就是这类“主业务已经完成,但附带工作仍然拖着请求”的问题。不过,把代码搬进队列只是开始:什么时候允许延迟,失败后谁来负责,重复执行会怎样,都需要一起想清楚。

这一篇先用“订单创建后发送通知、记录分析数据”讲清 MQ 的价值和代价。后两篇再学习 RabbitMQ 的路由模型,并完成一个 Spring Boot 练习。

1. 先决定:用户到底在等待什么#

假设这个简化商城把订单和库存放在同一个数据库里。创建订单、预留库存必须在本地事务中一起完成;通知和分析可以稍晚处理。

同步执行时,调用过程可能是:

收到下单请求
→ 创建订单、预留库存
→ 发送订单通知
→ 写入分析系统
→ 返回下单成功

下面的耗时只是便于理解的假设,不是性能测试:

工作假设耗时
订单与库存的本地事务120 ms
调用通知服务300 ms
调用分析服务80 ms

串行执行约需 500 ms。但用户真正需要立即确认的是订单是否成立,通常不需要等分析系统更新。

这里首先要做的是 划定业务边界:哪些结果必须在返回前确定,哪些动作允许稍后完成。通知可以延迟,并不意味着库存检查也能直接移走。若订单与库存属于不同服务,还需要另外设计预留、失败补偿等机制,不能沿用这个本地事务假设。

2. 引入消息后,请求链路发生了什么变化#

MQ 是 Message Queue 的缩写,中文通常叫消息队列。生产者提交消息,消息中间件接收并保存或路由它,消费者负责后续处理。

在订单案例里,可以把“订单已创建”表达成一条事件:

订单服务
→ 提交订单及待发送事件
→ 返回订单创建成功
事件发布程序
→ 将 OrderCreatedEvent 发到 MQ
→ 通知消费者发送通知
→ 分析消费者更新分析数据

“待发送事件”为什么也要保存,后面会解释。此处先看效果:接口不必再等待通知和分析完成。

假设本地保存事件增加 5 ms,响应链路就大约是 125 ms。通知本身并没有变快,只是用户不再为它等待。消费者稍后才完成工作,因此页面也不能把“订单成功”解释成“所有后续动作都已完成”。

这就是异步带来的取舍:缩短请求等待,接受后续状态暂时滞后。

3. 解耦的是调用关系,事件约定仍然存在#

同步调用时,订单服务需要知道通知接口、分析接口的地址、参数和异常处理方式。每增加一个后续用途,就可能改动订单服务。

发布事件后,订单服务说明一个已经发生的事实:“订单创建了”。不同业务按需订阅:

消费目的处理内容
订单通知提醒用户订单已创建
运营分析累计订单创建数据
搜索投影更新可检索的订单视图

新增订阅者通常可以不修改生产者,但双方仍然需要共同理解事件名称、字段、版本和业务含义。把同步接口换成消息,不等于没有契约。

例如,ORDER_CREATED 只表示订单创建,不能顺便代表支付成功。若积分规则是“支付后赠送”,积分消费者就应该订阅支付事件,而不是看到订单创建就加积分。

还有一个容易忽略的问题:后加的消费者是否需要历史数据?新建队列通常不会自动获得以前已经发布的事件。历史回填和未来订阅应分别安排。

4. 削峰是把压力排队,不是消除压力#

假设分析服务稳定处理 500 条消息/秒,一次活动让上游连续 30 秒产生 2,000 条消息/秒。

在忽略其他影响的简化模型中,积压量约为:

积压 = (生产速率 - 消费速率) × 持续时间
= (2000 - 500) × 30
= 45000 条

活动结束后,如果完全没有新消息,还需要约 90 秒才能处理完。如果生产速率长期高于消费速率,积压只会继续增长。

所以,设计削峰时至少要回答三件事:队列能容纳多少,最长允许等待多久,超过容量时上游如何限流或拒绝请求。

还要看队列放在哪里。若订单和库存数据库在发送消息之前就已完成写入,那么把分析任务放进 MQ,只能缓解分析侧压力,不能保护前面的订单数据库。

如果想让“创建订单”本身排队,接口就只能先返回“请求已受理”,之后再提供成功或失败结果。这已经改变了产品交互,不能只改一个发送方法就结束。

5. 消息里放什么:让消费者看懂一个事实#

后续练习使用下面的消息约定:

{
"eventId": "a836314d-c371-4c56-bbde-d6e9a6a6a001",
"eventType": "ORDER_CREATED",
"schemaVersion": 1,
"orderId": 10001,
"userId": 90001,
"occurredAt": "2026-09-28T02:00:00Z"
}

eventId 标识这一次业务事件,重发同一事件时应保留它;orderId 标识订单,两者不是同一回事。一张订单以后还可能产生支付、取消等其他事件。

schemaVersion 用来识别消息结构,occurredAt 表示事件发生时间,不能在每次重试时改成当前时间。跨系统传递时间时,带时区的形式也更容易避免误解。

只传订单 ID,还是附带订单快照,没有唯一答案:

  • 只传 ID,消息较小,但消费者要能查询订单,并且读到的可能是后来的状态。
  • 传必要快照,消费者可以直接处理事件发生时的信息,但需要维护字段兼容性。

应该根据消费者需要的是“当前状态”还是“发生时的事实”决定。不要为了省几个字段,让每个消费者重新依赖生产者的数据库;也不要把完整用户对象塞进所有消息。

6. 最终一致性靠谁完成#

“先提交数据库,再发送消息”有一个故障窗口:

订单事务提交成功
→ 进程崩溃
→ 消息还没有发送

消费者没有收到消息,也就无从重试。反过来先发消息再提交数据库,又可能让消费者处理一笔最终回滚的订单。

一种常见设计是 事务发件箱(Outbox):

  1. 在同一个本地事务中,保存订单和一条待发布事件。
  2. 发布程序读取待发布记录,向 MQ 发送。
  3. 收到发布确认后,更新发布状态。
  4. 未确认的记录由后续任务重试,并记录异常。

这里原子保存的是“业务数据 + 发布意图”,不是把数据库和 MQ 神奇地合成一个事务。

发布程序仍可能在“MQ 已接收、状态还没更新”时崩溃,恢复后再次发送。所以 Outbox 要与消费者幂等、重试和对账配合使用。最终一致性需要有持续推动状态收敛的程序,也需要有人处理无法自动恢复的异常。

对于当前只有三个章节的入门系列,第三篇会演示消息的发送与消费,不实现数据库 Outbox。不要把练习接口直接当成完整下单事务。

7. 重复消费为什么是正常设计条件#

想象通知消费者已经完成业务,正准备确认消息时网络断开。Broker 没收到确认,随后可能再次投递;生产者未收到发布确认时重发,也可能造成重复。

RabbitMQ 的可靠性文档明确要求应用考虑这类重复,并在接收侧设计幂等。来源:Reliability Guide

因此,“收到一次消息”不应该直接等同于“无条件执行一次副作用”。

如果消费者只更新自己的数据库,可以考虑将“消费记录”和“业务变更”放进同一个事务,并对 消费者名称 + eventId 建唯一约束。两个独立消费者要分别记录,不能让通知消费者的记录把分析消费者也跳过。

若处理的是外部短信发送,本地数据库事务不能覆盖短信平台。需要结合供应商的幂等键、发送状态查询和补偿策略。只用一个进程内 Set 记住消息 ID,重启就失效,也挡不住其他实例的重复执行。

8. 三种“成功”,不要混在一起#

状态能说明什么
订单事务成功本地业务数据已提交
发布得到确认Broker 已接受发布
消费处理成功某个消费者完成业务

这些状态之间存在时间差,也存在故障窗口。发布成功不能证明短信已经发送;通知消费者成功,也不能证明分析消费者成功。

RabbitMQ 的发布确认与消费确认是相互独立的机制,覆盖链路中的不同阶段。来源:Confirms

设计接口和日志时,最好明确标出自己确认的是哪一阶段。例如练习接口返回“消息已被 Broker 接受”,而不是“订单通知成功”。

9. 什么时候值得用 MQ#

判断依据是业务需求,不是系统规模看起来够不够大。

适合考虑 MQ 的情况包括:后续动作允许延迟,需要跨进程处理,希望下游独立扩容,或需要保留待处理任务并安排失败恢复。

应优先保留直接调用 的情况包括:用户需要立即得到确定结果,流程很短且简单,或者加入队列只增加状态查询和故障处理,没有实际收益。

支付结果通知也可以采用消息方式,但它对可靠发布、状态机、幂等和对账要求更高。不能简单地按“核心业务不用 MQ、非核心业务才用 MQ”分类。

与本进程异步相比,可以这样选择:

方式需要接受的主要边界
普通线程池 / @Async默认任务在进程内,重启可能丢失
持久化任务表自己维护调度、领取和失败恢复
消息中间件维护消息契约、Broker 和消费链路

@Async 的具体用法可以参考 Spring 异步任务。MQ 也不是“绝对不丢”的开关;它只是提供了构建可靠异步流程的基础设施。

10. 上线前真正需要回答的问题#

在这个订单案例中,我会先写清楚:通知允许延迟多久,长时间失败如何告警,消息重复时如何处理,以及如何查出订单有了但通知始终未完成的情况。

监控也不应只有“MQ 进程还活着”。队列积压、最老任务等待时间、消费失败率、死信增长和发布失败,才能反映业务是否仍在向前推进。

接下来学习 RabbitMQ 时,可以始终带着两个问题:消息现在在哪里,谁还没有完成自己的责任。交换机、队列、确认与死信,都会围绕这两个问题展开。

下一篇:RabbitMQ 基础模型:消息怎样到达正确的队列

Share

If this article helped you, please share it with others!

MQ 从 0 到 1(一):为什么需要消息队列
https://mizuki.mysqil.com/posts/message-queue-01-intro/
Author
梦幻晨风
Published at
2025-08-03
License
CC BY-NC-SA 4.0

Some information may be outdated

Table of Contents