当前位置: 首页 > news >正文

RocketMQ 高可用集群架构与一致性机制解析

分布式场景中一致性问题:

1.服务器不稳定:随时泵机的可能

2.网络问题:导致请求丢失

3.网速问题:难以保证请求顺序性,最终结果数据一致性需要操作顺序性保证

4.快速响应:不能因为一致性,导致响应以集群中最慢的为准。

常见的算法

弱一致性算法:DNS系统,Gossip协议(Redis Cluster

强一致性算法:Basic-Paxos、Multi-Paxos包括Raft系列(Nacos的JRaft,Kafka的Kraft以及RocketMQ的Dledger)、ZAB(Zookeeper)

Raft

log日志保存在server上的操作日志,每个命令成为Entry,主要是保证Entry的顺序一致,而不是Entry不会丢失(最终一致性),所有的操作最终都会落入State Machine。

工作流程:

1.多个server选举产生leader,负责客户端请求

2.leader通过一致性协议,像节点发送心跳以及客户端命令

3.每个节点将指令保存到log中,此时的uncommit状态

4.当大多数共同保存了Entry,就可以执行指令,保存到State Machine里,此时Entry状态为commit;

需要考虑的点:

角色:Leader、Follower和Candidate

log中的指针,一个是commit节点,一个是Leader往follower里发送后数据的指针

等待时间/超时时间:随机时间150ms到300ms 选举leader用到

脑裂问题:网络波动导致,通过Term任期解决

数据丢失情况:因为要保证只能有一个主节点,因此,脑裂期间,小Term里的数据会丢失。

因此他Raft是CP的。

协议具体实现步骤

传递时必要数据:

1.voteFor:投票给了谁

2.Current Term:当前的任期

3.logs[]日志entry,以及每个Entry内部的指令、任期、序号ID

4.蓝色箭头:已经commit的指针

5.黄色箭头:同步到的Entry进度

除此之外,leader还要维护matchindex[] 表示提交指针 和 nextIndex[] 表示同步指针

leader选举细节:

term:当前任期

candidateId:投票的候选人ID

lastLogIndex:候选人的最后日志Entry索引

last logo term:候选人最后日志目录的任期号

前两个参数是必须的。后两个参数主要是当主从发⽣切换时,可以⽤来找出最新的Candidate(候选人)。

Controller(主从切换的高可用集群)

controller只负责主从切换;同步数据是原来主从结构的(sycn和async方式)

为什么用它:解耦,性能高 。  缺点:不能保证强一致性。

部署官网: https://rocketmq.apache.org/zh/docs/deploymentOperations/03autofailover

Broker Container容器机制:

5.x版本中提供了新的模式BrokerContainer,一个BrokerContainer进程可以放多个Broker,这些broker可以是Master Broker、Slave Broker、DledgerBroker从而提高整体性能

proxy

这个组件也和Controller类似,可以和Broker⼀起组合部署,也可以单独部署。其作⽤主要是兼容
多语⾔客户端
官网地址https://rocketmq.apache.org/zh/docs/quickStart/01quickstart

http://www.lryc.cn/news/590833.html

相关文章:

  • 【3D目标检测】Livox Tele-15采集的.lvx数据转.bag再转.pcd
  • 鲍威尔去留风波的AI量化解析:基于多模态数据驱动的金融市场脉冲响应研究
  • 达梦数据守护集群搭建(1主1实时备库1同步备库1异步备库)
  • 时序数据库选型指南 —— 为什么选择 Apache IoTDB?
  • javaweb学习开发代码_HTML-CSS-JS
  • Java面试(基础篇) - 第二篇!
  • slot=“trigger“ 覆盖了组件内部的 ref=“trigger“【详细来龙去脉版 5min】
  • Web开发 01
  • Python的“__name__“属性
  • visual freebasic教程-菜单栏
  • 视频码率是什么?视频流分辨率 2688x1520_25fps采用 h264格式压缩,其码率为
  • 线上协同办公时代:以开源AI大模型等工具培养网感,拥抱职业变革
  • Vim多列打开不同文件操作指南
  • Dijkstra 算法求解多种操作
  • 【真·CPU训模型!】单颗i7家用本,4天0成本跑通中文小模型训练!Xiaothink-T6-mini-Preview 技术预览版开源发布!
  • 腾讯云服务上下载docker以及使用Rabbitmq的流程
  • 闭包的两种设计模式
  • 【Android】ViewBinding(视图绑定)
  • OpenCV中常用特征提取算法(SURF、ORB、SIFT和AKAZE)用法示例(C++和Python)
  • YOLOv3 技术深度解析:从理论到实践的完整指南
  • Linux的Ext系列文件系统
  • 深入理解进程等待:wait的简化与waitpid的灵活性
  • 力扣每日一题--2025.7.17
  • AndroidStudio环境搭建
  • openinstall上线SSL证书服务,开启数字安全新纪元
  • 使用Pytorch进行数字手写体识别
  • 细菌实验入门:浓度测定与菌种鉴定技术详解
  • AI搜索+GEO时代的营销策略更迭学习笔记
  • mapbox V3 新特性,添加模型图层
  • [yotroy.cool] 记一次 Git 移除某个不该提交的文件