当前位置: 首页 > news >正文

Broker收到消息之后如何存储

1.前言

此文章是在儒猿课程中的学习笔记,感兴趣的想看原来的课程可以去咨询儒猿课堂《从0开始带你成为RocketMQ高手》,我本人觉得这个作者还是不错,都是从场景来进行分析,感觉还是挺适合我这种小白的。这块主要都是我自己的学习笔记。想看原版的,还是去儒猿课堂。

这篇文章紧挨着上一篇文章:RokcetMQ中Producer的秘密-CSDN博客

2.Broker如何存储消息

前面我们已经大致了解到,Broker通过Netty网络服务器获取到一个请求,会将消息进行写入到一个CommitLog文件中,一个Broker上只有一个CommitLog文件,所有的Topic消息都会写入到一个CommitLog文件里。同时会以异步的方式将消息写入到MessageQueue中,因为一个Topic会有多个MessageQueue,一个MessageQueue其实就对应一个ConsumeQueue文件。于此同时还会异步将消息写入到IndexFile里,这个IndexFile里存储的就是每个消息的key和消息在CommitLog中的offset偏移量做一个索引。

我们来总结一下这个流程,

1.Broker收到消息之后,先写入到CommitLog日志文件中,这个CommitLog日志文件在磁盘目录是:${ROCKETMQ_HOME}/store/commitlog,这个目录下会有很多CommitLog日志文件,每个文件的默认大小是1G,一个文件写满了就会创建一个新的文件,文件名的话,就是文件中的第一偏移量,如果文件名不足20位就会用0来补齐。文件名如下所示:

00000000000000
00000000000124

在把消息写入到CommitLog文件的时候,就会申请PutMessageLock锁,这就意味着写入CommitLog日志的时候是串行的操作,不会让你进行并发写的。并发写的时候就会有数据错乱的问题。

2.接着就会对消息做出一通处理,包括设置消息的存储时间,创建全局唯一消息ID,计算消息的总长度,接着走一段关键的代码,将消息写入到MappedFile里。

3.总结

紧接着我们用一张图来总结下这篇博客的内容

http://www.lryc.cn/news/521477.html

相关文章:

  • Mysql--实战篇--SQL优化(查询优化器,常用的SQL优化方法,执行计划EXPLAIN,Mysql性能调优,慢日志开启和分析等)
  • BERT与CNN结合实现糖尿病相关医学问题多分类模型
  • rabbitmqp安装延迟队列
  • 深入探讨DICOM医学影像中的MPPS服务及其具体实现
  • 集合帖:区间问题
  • C#,入门教程(27)——应用程序(Application)的基础知识
  • 迅翼SwiftWing | ROS 固定翼开源仿真平台正式发布!
  • CSS 样式 box-sizing: border-box; 详细解读
  • FLASK创建下载
  • 漫话架构师|什么是系统架构设计师(开篇)
  • Web Socket
  • JavaSE学习心得(反射篇)
  • 使用FRP进行内网穿透
  • 长安“战疫”网络安全公益赛的一些随想
  • flutter 安卓端打包
  • Cesium中的CustomDataSource 详解
  • [Qt]常用控件介绍-按钮类控件-QPushButton、QRedioButton、QCheckBox、QToolButton控件
  • Windows 蓝牙驱动开发-安装蓝牙设备
  • element表格有横向滚动条时产生错位或者偏移(火狐浏览器)
  • C# 下 SQLite 并发操作与锁库问题的 5 种解决方案
  • 2025封禁指定国家ip-安装xtables-addons记录
  • 卷积神经02-CUDA+Pytorch环境安装
  • 高斯数据库与MySQL数据库的区别
  • 【 PID 算法 】PID 算法基础
  • 【AI】【RAG】如何通过WebUI部署与优化RAG问答系统
  • SpringBoot之OriginTrackedPropertiesLoader类源码学习
  • 51单片机 AT24C02(I2C总线)
  • Shell正则表达式与文本处理三剑客(grep、sed、awk)
  • Docker Desktop 中安装 MySQL 并开启远程访问的详细教程
  • 计算机网络 (39)TCP的运输连接管理