一、定位与基础概念
- 定位:基于AMQP 0-9-1协议的开源消息中间件,Erlang开发,属于broker中心化模型。
- 核心作用:系统间异步解耦、削峰填谷、异步通知、流量缓冲。
- 短板:吞吐量低于Kafka,不适合海量日志与埋点类高频写入;核心业务的可靠异步通信是其主要场景。
- Broker:RabbitMQ服务实例整体,管理交换机、队列与投递。
- vhost:逻辑隔离单元(命名空间),默认
/,每个vhost拥有独立的交换机、队列与权限;不同环境或业务线使用独立vhost。 - Connection:应用与服务端之间的TCP长连接,创建成本高,应用应维持少量长连接。
- Channel:连接之上的逻辑通道,所有声明、发布与消费操作都在通道上执行;通道不支持多线程并发使用。
消息结构:消息头(delivery_mode、expiration、message_id、correlation_id、reply_to、headers 等)+ 消息体(业务二进制数据,Broker不解析)。
消息流:生产者 → 交换机 → 绑定规则匹配 → 队列 → 消费者。交换机不存储消息,无匹配队列时消息被丢弃(除非开启返回机制)。
两条与实现无关的结论:
- 投递语义:生产端发布确认与消费端手动确认组合后,端到端为“至少一次”;跨系统的“恰好一次”不能由中间件保证,重复由业务幂等消化,依据见 消息队列基础与模型 第2.4节。
- 消息大小:单条消息应保持较小规模,大消息会同时放大磁盘占用、网络带宽与失败重做成本。
二、交换机类型要点
| 类型 | 路由依据 | 投递结果 | 典型场景 |
|---|---|---|---|
| Direct | 路由键与绑定键完全相等 | 匹配的队列 | 精准点对点、任务分发 |
| Topic | 路由键与绑定键按通配符匹配(* 匹配一个层级,# 匹配零个或多个层级,以点分隔) | 命中通配符的队列 | 微服务事件总线、日志分类订阅(最常用) |
| Fanout | 忽略路由键,广播到全部绑定队列 | 绑定该交换机的每个队列各收到一份 | 广播通知、多下游同步 |
| Headers | 按消息头的键值对匹配 | 匹配的队列 | 极少使用,性能较差 |
结论性要点:
- 扩展交换机:死信交换机(DLX)承接失败、过期与溢出消息;延迟交换机(依赖 rabbitmq-delayed-message-exchange 插件)实现定时消息,二者均非AMQP标准。
- Fanout交换机上传入路由键不产生区分效果;新绑定的队列从绑定时刻起接收全量消息,接入前需确认下游处理能力。
- 交换机类型与扇出语义的完整说明见手册1.4节,协议层的四类交换机定义见 AMQP 协议完整详解 第二章。
三、队列属性与参数
durable:队列持久化,服务重启后队列保留;为false时重启后队列消失。exclusive:排他队列,仅声明它的连接可见,连接断开自动删除,用于临时回调队列。auto-delete:存在过消费者,且所有消费者断开后自动删除队列。x-message-ttl:队列级消息过期时间;x-max-length:队列最大消息数;x-dead-letter-exchange、x-dead-letter-routing-key:死信交换机与死信路由键。- 队列属性在声明时固定,修改需要重新声明,属性不一致时重新声明会报错;运行期可变的参数通过策略(policy)调整。
- 队列类型:classic(默认,无副本)、quorum(仲裁队列,集群环境优先)、stream(流队列,可重复读取)。三类队列的定位差异见手册3.2.8节。
四、五种经典工作模式(结论)
- 简单模式:生产者 → 默认交换机(
"",Direct类型)→ 队列 → 单个消费者;队列与默认交换机按队列名隐式绑定。 - 工作模式:多个消费者竞争同一队列,默认轮询分发;开启QoS后按处理能力分发。
- 发布订阅模式:Fanout交换机把消息广播到全部绑定队列,各自消费。
- 路由模式:Direct交换机按路由键精准匹配。
- 主题模式:Topic交换机按通配符匹配,企业项目最常用。
五、可靠性保障结论
| 环节 | 结论性做法 | 说明 |
|---|---|---|
| 生产端 | 开启发布确认(Publisher Confirms),优先异步回调;不使用事务模式 | 确认仅表示服务端已接收,不等于消费端已处理 |
| 存储 | 队列 durable=true 与消息 delivery_mode=2 同时开启 | 只配置一项,重启后消息仍会丢失 |
| 消费端 | 手动确认 autoAck=false,业务处理完成后再确认;自动确认仅用于可丢失消息 | 自动确认在投递时即删除消息,消费者崩溃会丢失消息 |
| 异常消息 | 正常队列绑定死信交换机;被拒绝且 requeue=false、TTL过期、队列溢出的消息进入死信队列 | 死信队列必须有消费者或人工处理流程 |
| 幂等 | 中间件不能消除重复,由业务幂等兜底:业务唯一键约束、状态机条件更新、缓存去重 | 去重记录需要过期或归档策略 |
| 顺序 | 队列只保证投递顺序,并发消费与重投会破坏业务顺序 | 需保序时收敛到单队列单消费者或按业务键分流 |
- 机制细节见手册第二部分;逐环节核对清单与幂等实现手段见 消息可靠性与幂等设计。
- 消费者确认的三种指令:
basic.ack成功、basic.nack批量拒绝(含requeue参数)、basic.reject拒绝单条。 - 协议层的确认、持久化与拒绝语义见 AMQP 协议完整详解 第五章。
六、流量控制与延迟消息(结论)
- QoS预取
prefetch_count限制单个消费者未确认消息数,避免一次性投递压垮消费端;仅对推送消费模式生效,轮询拉取模式不生效。 - 预取取值依据是单条消息的处理耗时与消费端可用内存,不是越大越好;取值过大在大消息场景下会造成内存压力。
- 消息TTL支持队列级与消息级两种,同时存在时取更小的值。
- 原生TTL的缺陷:只有队首消息过期后,后续到期消息才会被处理,不能用于精准定时。
- 延迟消息优先使用延迟交换机插件,可按消息设置不同延迟;TTL加死信的方案只适用于延迟时长固定的场景。
七、集群与队列高可用(结论)
- 普通集群:队列、交换机、绑定的定义同步到所有节点,但消息只存放在声明队列的节点;该节点故障后队列不可读写。
- 仲裁队列(quorum queue):基于Raft,副本分布在多个节点,写入获得多数派确认后返回,leader故障自动选举;需要用副本保障高可用时作为默认选择。
- 经典镜像队列(
ha-mode):3.9起弃用、4.0中移除,新部署不再使用;存量队列的迁移步骤见手册3.2.7节。 - Stream队列:按偏移量读取,同一份数据可被多组消费者各自读取,支持历史重放;不适用于单条消息级别的精细调度。
- 集群节点数取奇数(3或5),节点数量与多数派规则匹配;副本数超过节点数不产生额外冗余。
- 跨机房需求使用Federation、Shovel或双集群方案,而不是组建单个跨机房集群。
- 集群模型、扩容边界、故障处置与分区策略见 消息中间件运维与治理 与手册3.2、3.7节。
八、插件与端口
常用插件(rabbitmq-plugins enable 插件名):
- rabbitmq_management:Web管理后台。
- rabbitmq_prometheus:Prometheus指标暴露。
- rabbitmq-delayed-message-exchange:延迟消息。
- rabbitmq_tracing:消息轨迹追踪,用于排查消息流向。
- rabbitmq_mqtt、rabbitmq_stomp:物联网与文本协议接入。
端口:
- 5672:客户端通信(AMQP)。
- 15672:Web管理界面。
- 15692:Prometheus指标。
- 25672:集群节点内部通信。
九、线上三类问题(结论与排查入口)
1. 消息丢失
结论:生产端开启发布确认、队列与消息同时持久化、消费端手动确认、异常消息转入死信,四者缺一不可;只做其中一项仍会丢消息。
排查入口:手册2.1、2.2、2.4节;分环节核对清单见 消息可靠性与幂等设计 第3.1节。
2. 重复消费
结论:确认信号丢失、消费者超时被判定失效、生产端重试都会产生重复,中间件不消除重复;由消费端幂等消化。
排查入口:手册2.3节;幂等键选择与实现手段见 消息可靠性与幂等设计 第2.5节。
3. 消息积压
结论:先判断是突发流量、消费能力不足还是消费停滞,再决定扩容消费者、优化处理逻辑或临时转存;积压会同时消耗磁盘与内存,触发流控后反向阻塞生产者。
排查入口:手册3.3、3.5节;堆积分级判据与容量估算见 消息中间件运维与治理 第3.2节。
十、开发约定(结论)
- Channel不支持多线程共用,多线程场景每个线程使用独立Channel。
- 复用TCP连接,不频繁创建Connection;连接池大小与实例数匹配。
- 消费统一使用推送模式(basic.consume),不使用轮询拉取(basic.get)。
- 消息体保持较小,大对象(文件、图片、明细列表)存放在对象存储中,消息只传引用地址。
- 重试必须设置次数上限,配合死信队列兜底,避免瞬时重投形成热循环。
- 客户端与服务端的心跳间隔需小于链路上防火墙与负载均衡的空闲超时。
- 消费者并发、预取与批量参数需与消费端内存一起评估。
十一、延伸阅读
- RabbitMQ 理论与实践手册:核心机制、部署与集群、监控与备份、迁移步骤、Spring Boot完整示例。
- RabbitMQ 用户角色和权限说明:tags与vhost细粒度权限、业务账号实践。
- AMQP 协议完整详解:协议模型、帧结构、确认与QoS语义。
- 消息队列基础与模型:与产品无关的模型、投递语义、顺序性与消息设计。
- 消息可靠性与幂等设计:可靠性三环节、幂等实现、积压与死信治理。
- 消息中间件运维与治理:集群模型、监控指标、容量规划、备份与故障处置。
- 理解扇形(fanout)交换机:内容已并入手册1.4节。
- linux: 监控与告警:指标采集、阈值取值与告警分级。