消息队列核心特性解析
1. 消息队列的好处
- 异步处理：解除流程阻塞，提升系统响应速度
- 系统解耦：降低服务间直接依赖，提高扩展性
- 流量削峰：缓冲瞬时高并发请求，保护下游系统
2. 消息重复消费与幂等性保障
消费端无法直接处理重复消费问题，需业务端通过以下方式控制：
- 本地数据库表或Redis缓存业务标识
- 每次处理前先校验标识，确保幂等性
- 参考实现：幂等性处理方案
2.1 注解式幂等实现
实现原理
- 拦截请求：通过Spring AOP拦截带有
@Idempotent注解的方法 - 生成幂等key：根据配置的幂等类型和场景，动态生成全局唯一key
- 验证幂等性：
- 基于Token：验证并删除token
- 基于参数：使用Redisson分布式锁
- 基于SpEL：检查分布式缓存中是否存在该key
- 执行业务逻辑：验证通过后执行原方法
- 清理资源：释放锁或更新缓存状态
具体实现方式
基于Token的幂等实现：
- 客户端调用
/token接口获取token - 请求时在header或参数中携带token
- 服务端验证token存在后删除，确保同一token仅能使用一次
- 客户端调用
基于方法参数的幂等实现：
- 计算请求路径、用户ID和方法参数的MD5值生成唯一key
- 使用Redisson分布式锁，同一key仅能被一个线程处理
- 处理完成后释放锁，确保同一请求仅处理一次
基于SpEL表达式的幂等实现：
- 适用场景：Canal订单数据变更MQ、支付结果回调MQ、订单创建业务
- 实现方式：
- 使用SpEL表达式从请求中提取唯一标识
- 将标识存储在分布式缓存并设置过期时间
- 重复请求时检测到缓存中已存在该标识，直接返回幂等错误
3. 消息丢失问题与可靠性保障
从生产、存储、消费三个阶段保障消息可靠性：
3.1 生产阶段
- Producer采用同步发送（默认）或重试机制，失败时重试指定次数
- 开启Broker确认（ACK）：Broker收到消息并持久化后，向Producer返回成功响应
3.2 存储阶段
- 消息持久化到磁盘（CommitLog文件），采用内存映射（MMAP）+刷盘机制（同步/异步）
- 主从同步：Master将消息同步到Slave，支持同步复制（Master等待Slave确认后返回ACK）或异步复制
- 定期清理过期消息，避免磁盘溢出
3.3 消费阶段
- Consumer采用"拉取式消费"，消费完成后向Broker发送确认（ACK），Broker才标记消息为已消费
- 失败重试：消费失败时，可将消息重发回Broker重试队列（默认重试16次），超过次数进入死信队列（DLQ）
3.4 原理解析
持久化机制：
- CommitLog是Broker存储消息的核心文件，所有Topic的消息混合存储
- 通过ConsumeQueue（索引文件）快速定位消息位置
- MMAP减少磁盘I/O开销，同步刷盘保证消息不丢失（适合金融场景），异步刷盘提升性能（适合非核心场景）
主从同步：
- Master写入消息后，通过异步线程将数据同步到Slave
- 同步复制模式下，Master需等待Slave写入成功后才返回ACK，彻底避免单点故障导致的消息丢失
4. 消息顺序性保障
核心方案：队列分区 + 串行消费
4.1 分区顺序（生产环境主流方案）
- 同一业务标识（如订单ID）的消息发送到同一个Message Queue
- 消费时单线程处理该Queue，保证局部顺序
4.2 全局顺序（特殊场景适用）
- 整个Topic仅配置1个Message Queue
- 所有消息串行生产和消费
- 特点：性能极低，仅适用于超低频场景（如全局配置下发）
5. RocketMQ消息堆积问题排查与解决
5.1 排查步骤
- 查看Broker监控：检查CommitLog磁盘使用率、消息堆积数量（Queue中未消费Offset与最大Offset的差值）
- 检查Consumer状态：是否有Consumer宕机、消费线程阻塞、消费逻辑耗时过长
- 检查Producer发送速率：是否突发大量消息导致生产速率远大于消费速率
- 检查网络：Broker与Consumer之间的网络是否延迟过高
5.2 解决方法
- 临时扩容：增加Consumer节点（集群消费模式），Rebalance后分摊Queue消费压力
- 优化消费逻辑：减少消费耗时（如异步处理、优化数据库操作），增加消费线程数（调整
consumeThreadMax参数） - 分流消息：将热点Topic拆分为多个子Topic，分散消费压力
- 清理死信消息：处理死信队列中无法消费的消息，避免占用资源
- 调整重试机制：减少非核心业务的重试次数，避免重试消息堆积
5.3 原理解析
消息堆积的本质是"生产速率>消费速率"或"消费中断"。RocketMQ的监控指标（如msgAccumulation）可直接反映堆积情况，通过扩容Consumer增加并行消费能力，或优化消费逻辑提升单节点消费效率，从根本上平衡生产与消费速率。