当前位置: 首页 > news >正文

RabbitMQ--批量处理

一、RabbitMQ 原生批量处理(Java 客户端)

1.1 原生 RabbitMQ 不支持真正意义上的“批量监听消费”,但支持“批量确认”

// 原生消费:注册一个消费者
channel.basicConsume("queue_name", false, (consumerTag, message) -> {// 处理单条消息System.out.println("收到消息: " + new String(message.getBody()));// 手动单条确认channel.basicAck(message.getEnvelope().getDeliveryTag(), false);
}, consumerTag -> {});

1.2 批量确认两种方式

// 逐条确认(循环中)basicAck第二个参数是false
for (Message msg : messages) {channel.basicAck(msg.getMessageProperties().getDeliveryTag(), false);
}// 批量确认(参数要是为false只确认最后一条)
//basicAck第二个参数是true
//basicAck第二个参数为true时,确认最后一条也就确认了lastTag 前的所有
long lastTag = 0;
for (Message msg : messages) {lastTag = msg.getMessageProperties().getDeliveryTag();
}
channel.basicAck(lastTag, true);
Ack方式调用位置含义
basicAck(tag, false)循环内每条都调单条确认
basicAck(lastTag, true)循环外调用一次批量确认所有未确认消息

二、Spring Boot 批量消费配置

2.1 方式一:yml形式

(1)  使用 YAML 自动配置方式
spring:rabbitmq:host: localhostport: 5672username: guestpassword: guestlistener:simple:acknowledge-mode: auto          # 自动确认(成功执行方法即确认)prefetch: 100                   # 消费端每次最多接收 100 条未确认消息(限流)consumer-batch-enabled: true    # ✅ 开启批量消费,方法参数可为 List<T>batch-size: 100                 # 每次最多批量拉取 100 条消息

✅ 注意:

  • consumer-batch-enabled: true 是开启批量消费的关键,没有它就不能使用 List<T> 参数!

  • 仅设置 prefetch 是 RabbitMQ 的限流控制,不等于开启批量消费。

  • batch-size 控制 Spring 每次最多拉多少条消息。


(2) 配置后批量消费的消费者示例
@Component
public class BatchConsumer {@RabbitListener(queues = "test_batch_queue")public void receiveBatch(List<Message> messages, Channel channel) throws IOException {System.out.println("批量接收消息,数量:" + messages.size());long lastTag = 0;for (Message msg : messages) {String body = new String(msg.getBody());System.out.println("消费消息:" + body);lastTag = msg.getMessageProperties().getDeliveryTag();}// 批量确认channel.basicAck(lastTag, true); // 确认所有消息}
}

❗ 如果改为 channel.basicAck(tag, false),必须放在 for 循环中每条都确认。


2.2 方式二:自定义监听容器工厂方式

(1) Java配置方式(替代 YAML 配置)
@Configuration
public class RabbitListenerConfig {@Beanpublic SimpleRabbitListenerContainerFactory batchFactory(ConnectionFactory connectionFactory) {SimpleRabbitListenerContainerFactory factory = new SimpleRabbitListenerContainerFactory();factory.setConnectionFactory(connectionFactory);factory.setBatchListener(true);                      // 开启批量消费factory.setBatchSize(100);                           // 每批最大数量factory.setPrefetchCount(100);                       // 限流数量factory.setAcknowledgeMode(AcknowledgeMode.MANUAL); // 手动确认return factory;}
}
(2) 批量消费者绑定工厂
@Component
public class BatchConsumer {@RabbitListener(queues = "test_batch_queue", containerFactory = "batchFactory")public void receiveBatch(List<Message> messages, Channel channel) throws IOException {System.out.println("批量接收消息,数量:" + messages.size());long lastTag = 0;for (Message msg : messages) {lastTag = msg.getMessageProperties().getDeliveryTag();System.out.println("消费:" + new String(msg.getBody()));}channel.basicAck(lastTag, true);}
}

四、关键点

 4.1 只使用 prefetch: 100,是不是不能使 @RabbitListener 方法参数支持 List<T>

✅ 回答:

是的,仅设置 prefetch: 100 不会启用批量消费模式,也就不能让 @RabbitListener 方法参数变成 List<T>


✅ 原因详解:
配置项功能说明
prefetch: 100RabbitMQ 允许消费者最多缓存 100 条未确认消息(限流)
控制的是消费速度,不影响监听方法接收消息的格式
consumer-batch-enabled: true开启 Spring 批量消费功能,允许 @RabbitListener 接收 List<T> 参数

🧠 总结:
场景是否可用 List<T> 接收消息是否批量拉取是否批量确认
只配置 prefetch: 100❌ 只能逐条消费✅ 是预取多个,但逐条进入监听方法❌ 每条单独确认(由 Spring 控制)
配置 consumer-batch-enabled: truebatch-size > 1✅ 支持 List<T> 参数✅ 批量拉取✅ 批量确认或手动确认

✅ 示例对比:
❌【只设置 prefetch: 100,不能用 List】
spring:rabbitmq:listener:simple:prefetch: 100       # ✅ 控制未确认的消息上限# ⚠️ 没有 consumer-batch-enabled

监听方法必须是单条消费:

@RabbitListener(queues = "test_queue")
public void receive(String message) {System.out.println("收到单条消息: " + message);
}

✅【设置 batch 消费,才能用 List】
spring:rabbitmq:listener:simple:prefetch: 100consumer-batch-enabled: truebatch-size: 100

监听方法支持批量消费:

@RabbitListener(queues = "test_batch_queue")
public void receiveBatch(List<String> messages) {System.out.println("批量消息数量:" + messages.size());
}

✅ 结论:

只有配置了 consumer-batch-enabled: true 才能让监听方法支持 List<T> 批量消费形式。

        光设置 prefetch: 100 不行,它只是 RabbitMQ 的限流控制,不影响消息的接收方式。

4.2  三种组合差异详解(prefetch 、consumer-batch-enabled、batch-size)

🔍 各配置项含义
配置项含义
prefetch限流参数:RabbitMQ 向消费者最多投递多少未确认的消息(即使你没处理完)
consumer-batch-enabled是否启用批量消费(也就是说方法能不能用 List<T> 参数)
batch-sizeSpring 每次最多从 RabbitMQ 拉取多少条消息之后才调用一次方法
🧠 关键区别详解
对比项prefetch + consumer-batch-enabledprefetch + consumer-batch-enabled + batch-size
是否批量消费✅ 是(支持 List<T>✅ 是
批次大小默认值默认为 1(即最多 1 条触发一次方法)明确设置为 100
方法执行频率多次执行(每接收到 1 条消息即调用一次)每接收到 100 条才执行一次方法
拉取行为每条都拉但每条都立刻触发方法拉够再触发
效率❌ 不高(虽是 List,但每次只有 1 条)✅ 高(真正意义的批量处理)

✅ 举例说明
配置一(没写 batch-size):
prefetch: 100
consumer-batch-enabled: true

RabbitMQ 会发最多 100 条消息,但 Spring 每收到 1 条就调用一次方法,每次方法里的 List<Message> 只有 1 条数据 → 不是你想象中的“批量处理”。


配置二(加了 batch-size):
consumer-batch-enabled: true
prefetch: 100
batch-size: 100

RabbitMQ 会最多发 100 条,Spring 每次拉够 100 条后才调用一次方法,List<Message> 是 100 条 → 真正的“批量消费”。

http://www.lryc.cn/news/596187.html

相关文章:

  • halcon手眼标定z方向实操矫正
  • VUE 中父级组件使用JSON.stringify 序列化子组件传递循环引用错误
  • 机器人氩弧焊保护气降成本的方法
  • Apache Ignite 的 SQL 功能和分布式查询机制
  • 50天50个小项目 (Vue3 + Tailwindcss V4) ✨ | ImageCarousel(图片轮播组件)
  • 深度学习篇---车道线循迹
  • FPGA自学——存储器模型
  • Kafka单条消息长度限制详解及Java实战指南
  • Apache Ignite 中 WHERE 子句中的子查询(Subqueries in WHERE Clause)的执行方式
  • Android 中 实现日期选择功能(DatePickerDialog/MaterialDatePicker)
  • 【无标题】buuctf-re3
  • JAVA中的IO流(四)数据流
  • 一个电脑抓包工具
  • 黄仁勋强调:首先,我是中国人
  • Python进阶第三方库之Numpy
  • 用手机当外挂-图文并茂做报告纪要
  • 云祺容灾备份系统Hadoop备份与恢复实操手册
  • 如何在 Windows 10 下部署多个 PHP 版本7.4,8.2
  • WIFI路由器长期不重启,手机连接时提示无IP分配
  • Android接入RocketMQ的文章链接
  • Spring Boot 使用Jasypt加密
  • Cy3-COOH 花菁染料Cy3-羧基
  • 《小白学习产品经理》第八章:方法论之马斯洛需求层次理论
  • 用ffmpeg 进行视频的拼接
  • 从 0 到 1 搞定nvidia 独显推流:硬件视频编码环境安装完整学习笔记
  • Golang避免主协程退出方案
  • 前端葵花宝典
  • 《Uniapp-Vue 3-TS 实战开发》自定义时间选择
  • el-input 动态获焦
  • Vue 脚手架基础特性