当前位置： 首页 > news >正文

rocketmq双主双从部署+dashbord

news 2025/7/19 5:16:51

1、主机规划

主机节点地址
主机Anamesrv192.168.2.228:9876
主机Abroker-a192.168.2.228:10911
主机Abroker-b192.168.2.228:11911
主机Bnamesrv192.168.2.229:9876
主机Bbroker-c192.168.2.229:10911
主机Bbroker-d192.168.2.229:11911

2、两台主机都需要执行，创建mq需要的文件

mkdir -p /mydata/rocketmq/data/namesrv/logs
sudo chmod 777  /mydata/rocketmq/data/namesrv/logs
mkdir -p /mydata/rocketmq/data/namesrv/store
chmod 777  /mydata/rocketmq/data/namesrv/store
mkdir -p /mydata/rocketmq/data/broker-a/logs
mkdir -p /mydata/rocketmq/data/broker-a/store
mkdir -p /mydata/rocketmq/etc/broker-a
chmod 777 /mydata/rocketmq/data/broker-a/logs
chmod 777 /mydata/rocketmq/data/broker-a/store
chmod 777 /mydata/rocketmq/etc/broker-a
mkdir -p /mydata/rocketmq/data/broker-b/logs
mkdir -p /mydata/rocketmq/data/broker-b/store
mkdir -p /mydata/rocketmq/etc/broker-b
chmod 777 /mydata/rocketmq/data/broker-b/logs
chmod 777 /mydata/rocketmq/data/broker-b/store
chmod 777 /mydata/rocketmq/etc/broker-b

3、部署broker-a

cd  /mydata/rocketmq/data
vi broker-a.conf
#输入以下内容brokerClusterName = rocketmq-cluster
brokerName = broker-a# 0表示broker master 非0表示 broker slaver
brokerId = 0# brokerIP1 当前broker监听的IP
brokerIP1 = 192.168.2.228# brokerIP2 存在broker主从时，在broker主节点上配置了brokerIP2的话,broker从节点会连接主节点配置的brokerIP2来同步
brokerIP2 = 192.168.2.228deleteWhen = 04
fileReservedTime = 48namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876# 是否能够自动创建topic
autoCreateTopicEnable = true#Broker 对外服务的监听端口, 默认10911
# listenPort = 10911#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

4、部署broker-b

cd  /mydata/rocketmq/data
vi broker-b-s.conf
#输入以下内容brokerClusterName = rocketmq-cluster
brokerName = broker-bbrokerId = 1brokerIP1 = 192.168.2.228deleteWhen = 04
fileReservedTime = 48namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876listenPort = 11911#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

5、主机B部署broker-c

cd  /mydata/rocketmq/data
vi broker-a.conf
#输入以下内容brokerClusterName = rocketmq-cluster
brokerName = broker-c# 0表示broker master 非0表示 broker slaver
brokerId = 0# brokerIP1 当前broker监听的IP
brokerIP1 = 192.168.2.229# brokerIP2 存在broker主从时，在broker主节点上配置了brokerIP2的话,broker从节点会连接主节点配置的brokerIP2来同步
brokerIP2 = 192.168.2.229deleteWhen = 04
fileReservedTime = 48namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876# 是否能够自动创建topic
autoCreateTopicEnable = true#Broker 对外服务的监听端口, 默认10911
# listenPort = 10911#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

6、主机B部署broker-d

cd  /mydata/rocketmq/data
vi broker-b-s.conf
#输入以下内容brokerClusterName = rocketmq-cluster
brokerName = broker-dbrokerId = 1brokerIP1 = 192.168.2.229deleteWhen = 04
fileReservedTime = 48namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876listenPort = 11911#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

7、下载dockercompose文件，如果主机没有网络可以使用有网络的电脑下载上传到/usr/local/bin目录

#下载到/usr/local/bin目录
curl -SL https://github.com/docker/compose/releases/download/v2.7.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

8、两台主机都编辑docker-compose.yml

cd /usr/local/bin
vi docker-compose.yml
#输入以下内容
version: '4.7'
services:rmqnamesrv-a:image: apache/rocketmq:4.7.1restart: alwayscontainer_name: rmqnamesrv-aports:- 9876:9876volumes:- /mydata/rocketmq/data/namesrv/logs:/opt/logs/rocketmqlogs- /mydata/rocketmq/data/namesrv/store:/opt/storeenvironment:- JAVA_OPT_EXT=-Duser.home=/opt -Xms512m -Xmx512m -Xmn300mcommand: sh mqnamesrvrmqbroker-a:image: apache/rocketmq:4.7.1container_name: rmqbroker-aports:- 10911:10911- 10909:10909- 10912:10912volumes:- /mydata/rocketmq/data/broker-a/logs:/home/rocketmq/logs- /mydata/rocketmq/data/broker-a/store:/home/rocketmq/store- /mydata/rocketmq/data/broker-a.conf:/home/rocketmq/rocketmq-4.7.1/conf/broker.confenvironment:- TZ=Asia/Shanghai- NAMESRV_ADDR=rmqnamesrv-a:9876- JAVA_OPTS=-Duser.home=/opt- JAVA_OPT_EXT=-server -Xms2048m -Xmx4096m -Xmn2048mcommand: sh mqbroker -c /home/rocketmq/rocketmq-4.7.1/conf/broker.conf autoCreateTopicEnable=true &links:- rmqnamesrv-a:rmqnamesrv-armqbroker-b-s:image: apache/rocketmq:4.7.1container_name: rmqbroker-b-sports:- 11911:11911- 11909:11909- 11912:11912volumes:- /mydata/rocketmq/data/broker-b/logs:/home/rocketmq/logs- /mydata/rocketmq/data/broker-b/store:/home/rocketmq/store- /mydata/rocketmq/data/broker-b-s.conf:/home/rocketmq/rocketmq-4.7.1/conf/broker.confenvironment:- TZ=Asia/Shanghai- NAMESRV_ADDR=rmqnamesrv-a:9876- JAVA_OPTS=-Duser.home=/opt- JAVA_OPT_EXT=-server -Xms2048m -Xmx4096m -Xmn2048mcommand: sh mqbroker -c /home/rocketmq/rocketmq-4.7.1/conf/broker.conf autoCreateTopicEnable=true &links:- rmqnamesrv-a:rmqnamesrv-a

9、启动部署

#部署启动
docker compose up -d
#卸载命令，不要执行
docker compose down

10、自定义dashbord密码

#部署启动
mkdir -p /apps/rocketmq-dashboard/data
vi users.properties
#输入以下内容
#超级管理员
admin=admin,1
#普通用户
xkc=xkc

11、dashbord启动

docker run -d -it --name dashboard -p 18081:8080 -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.2.228:9876;192.168.2.229:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false  -Drocketmq.config.loginRequired=true" -v /apps/rocketmq-dashboard/data:/tmp/rocketmq-console/data  apacherocketmq/rocketmq-dashboard:latest /bin/bash

12、自定义的nginx负载均衡配置，需要配置nginx.conf文件，网上有很多坑说配置http模块，实际上配置http模块没法对mq负载均衡，正确需要在stream模块追加以下配置，如下：

stream {upstream mqserver {server 192.168.2.227:9876;server 192.168.2.228:9876;}server {listen 888;proxy_connect_timeout 1s;proxy_timeout 3s;proxy_pass mqserver;}
}

13、一键式部署的脚本，我自己写了一个，但暂时不提供，有需要的可以联系博主

http://www.lryc.cn/news/286116.html

相关文章：

  • OpenHarmony当前进展和未来趋势
  • php学习
  • ruoyi框架教程
  • 通过浏览器URL地址，5分钟内渗透你的网站！很刑很可拷！
  • dubbo：深入理解Apache Dubbo与实战
  • 写着玩的程序：pycharm实现无限弹窗程序（非病毒程序，仅整蛊使用）
  • 计算机网络——运输层（2）暨小程送书
  • FPGA高端项目：Xilinx Zynq7020 系列FPGA纯verilog图像缩放工程解决方案 提供3套工程源码和技术支持
  • 【分布式技术专题】「分布式技术架构」 探索Tomcat集群架构原理和开发分析指南
  • c++类与对象（五）：友元、内部类、临时对象、匿名对象
  • 细数语音识别中的几个former
  • 【MySQL进阶】锁
  • redis复制和分区：主从复制、哨兵模式和集群模式
  • 个人实现的QT拼图游戏（开源），QT拖拽事件详解
  • gin渲染篇
  • 第三方控价服务商怎么选
  • 大模型的学习路线图推荐—多维度深度分析【云驻共创】
  • 【学习】focal loss 损失函数
  • 几个好玩好用的AI站点
  • Java算法 leetcode简单刷题记录5
  • 计算机网络自顶向下Wireshark labs1-Intro
  • CSS实现图片放大缩小的几种方法
  • 时间序列预测 — CNN-LSTM-Attention实现多变量负荷预测(Tensorflow)：多变量滚动
  • angular-tree-component组件中实现特定节点自动展开
  • Linux系统下安装Vcpkg，并使用Vcpkg安装、编译OpenSceneGraph
  • 设计模式二(工厂模式)
  • Maven应用手册
  • 笨蛋学设计模式行为型模式-状态模式【20】
  • C++从零开始的打怪升级之路(day18)
  • 浅谈安科瑞直流电表在新加坡光伏系统中的应用