当前位置: 首页 > news >正文

如何确定RocketMQ中消费者的线程大小

背景

        随着物联网行业的发展、智能设备数量越来越多,随着设备活跃量过大,常常存在一些高并发的请求,形成了流量尖峰,过多的请求会压垮服务器,影响其他服务运行。因此,为了保护云端服务,需要对请求进行缓冲,RocketMQ就是一款非常优秀消息队列的中间件,在互联网领域久经考验,也被各个行业广泛应用。

        在上一篇文章中,介绍了RocketMQ的工作原理使用。物联网中如何使用RockeMQ

如何在配置文件端配置消费者线程大小

        当生产者将大量的消息堆积到消息队列中时,需要同步启用消费者去消费队列中的消息,达到动态平衡的效果。

        如下代码所示,在消费者类上,会使用@RocketMQMessageListener注解,并填写必要的属性:consumerThreadNumber:消费线程、主题、消费组。

@RocketMQMessageListener(// 指定消费线程大小consumeThreadNumber = 16,topic = TOPIC_DEMO,consumerGroup = "consumer_demo_group")
@Component
public class Consumer implements RocketMQListener<MessageExt> {private final String CHARSET = Charset.defaultCharset().name();@Overridepublic void onMessage(MessageExt message) {byte[] body = message.getBody();String str = new String(body, Charset.forName(this.CHARSET));System.out.println("消费者消费的消息为: " + str);}
}

        其中的topicconsumerGroup可以指定一次就不会变啦,但是consumerThreadNumber会根据机器的性能发生变化;因此需要将其提出放到配置文件中,方便修改,比如"application.yaml"。

        那应该如何实现呢?

        其中 consumerThreadNumber = 16,表明填入的是一个static的变量,因此如果简单地使用@Value来进行注入变量是不成功的,因为它只能注入非静态变量。为了能实现从配置文件中读取变量,并转为static变量,采用了显示set方式赋值变量的方法。

/**
* 注入mq消费的线程数量
*/
public static int RocketMQThreadSize;@Value("${biz.RocketMQThreadSize}")
public void setRocketMQThreadSize(int threadSize) {
RocketMQThreadSize = threadSize;
}

        那在配置文件中就可以配置RocketMQThreadSize的大小啦。如下在application.yaml就可以搞定。

biz: RocketMQThreadSize: 200

如何使得自定义的线程大小生效

        如上一章所示,可以得到静态的变量,那如何在消费者中生效呢?幸好RocketMQ提供一个接口可以实现消费者线程的自定义。

        在消费者的类需要实现RocketMQPushConsumerLifecycleListener接口即可,然后在类中实现prepareStart方法即可。具体如下所示:

@RocketMQMessageListener(topic = TOPIC_DEMO,consumerGroup = "consumer_demo_group")
@Component
public class Consumer implements RocketMQListener<MessageExt>, RocketMQPushConsumerLifecycleListener {private final String CHARSET = Charset.defaultCharset().name();@Overridepublic void onMessage(MessageExt message) {byte[] body = message.getBody();String str = new String(body, Charset.forName(this.CHARSET));System.out.println("消费者消费的消息为: " + str);}@Overridepublic void prepareStart(DefaultMQPushConsumer defaultMQPushConsumer) {// 指定消费线程大小defaultMQPushConsumer.setConsumeThreadMin(ConfigProperties.RocketMQThreadSize);defaultMQPushConsumer.setConsumeThreadMin(ConfigProperties.RocketMQThreadSize);}
}

        在prepareStart方法中,指定一些必要的线程参数

  • 最大线程:defaultMQPushConsumer.setConsumeThreadMin(ConfigProperties.RocketMQThreadSize);
  • 最小线程:defaultMQPushConsumer.setConsumeThreadMin(ConfigProperties.RocketMQThreadSize);

并且通过实验和查看源码,其中最大、最小设置一样才会生效。

如何确定合适的线程大小

        以上的步骤已经帮忙把线程设置提取出来啦,之后只需在配置文件中修改线程数大小,而不需去代码中修改,避免代码导致系统出现问题。那如何去确定线程的数量大小呢?

        线程是计算机执行任务的基本的单位,即消费任务可以交给线程去执行。

        当线程数量较少时,CPU性能不能充分发挥。但是线程数量过的就会导致过多的线程处于等待中,机器的负载升高。因此需要确定适合当前机器的线程数量。

        在RocketMQ线程调优有两个指标可以帮助大致确定消费线程大小:

  • 消费者的TPS,表明消费者的能力;
  • 机器负载,分为CPU负载和IO负载,和自身的核心数量有关。

        RocketMQ提供web界面,可以监测TPS的大小,这个数量当然是越大越好,但是也要考虑负载。

在这里插入图片描述

        在服务器输入top命令就可以看大,当前机器的负载:

在这里插入图片描述

分别为1、5、15分钟负载。

        在进行压测的时候,需要知道机器的核心数量,监测负载的时候负载的大小就不能超过核心数量。

        在测试的时候可以从小到大调节线程数大小,并且关注TPS和负载。

结尾

 以上就是确定消费者线程大小的整个过程,有疑问欢迎留言交流!!!
线程介绍

http://www.lryc.cn/news/19942.html

相关文章:

  • OpenAPI SDK组件之Spring Aop源码拓展
  • 蓝桥杯C/C++VIP试题每日一练之龟兔赛跑预测
  • 为你的Vue2.x老项目安装Vite发动机吧
  • ZCMU--5012: 铺设道路(差分思路)
  • 算法模板总结(自用)
  • 【架构师】零基础到精通——架构发展
  • C++(20):三路比较运算符
  • MySQL workbench 字符集、字符序的概念与联系
  • DBA之路---数据库启动与关闭过程
  • Shell文件包含
  • 计算机网络(六): HTTP,HTTPS,DNS,网页解析全过程
  • Android仿京东金融的数值滚动尺功能
  • Nginx 和 Tomcat 实现负载均衡
  • 【万能排序之qsort、b_sort 、s_sort】
  • 利用InceptionV3实现图像分类
  • 【Java】CAS锁
  • Linux服务器配置系统安全加固方法
  • Codeforces Round #850 (Div. 2, based on VK Cup 2022 - Final Round)(A~E)
  • qt源码--信号槽
  • RecycleView详解
  • 【算法】最短路算法
  • < Linux > 进程间通信
  • 学习 Python 之 Pygame 开发魂斗罗(二)
  • 户籍管理系统测试用例
  • (三)代表性物质点邻域的变形分析
  • Stream操作流 练习
  • 【模拟集成电路】宽摆幅压控振荡器(VCO)设计
  • 《英雄编程体验课》第 13 课 | 双指针
  • DS期末复习卷(十)
  • QT+OpenGL模板测试和混合