当前位置: 首页 > news >正文

Kafka日志

位置

server.properties配置文件中通过log.dir指定日志存储目录

log.dir/{topic}-{partition}

核心文件

.log

存储消息的日志文件,固定大小为1G,写满后会新增一个文件,文件名表示当前日志文件记录的第一条消息的偏移量。

.index

以偏移量为索引来记录对应的.log日志文件中的消息偏移量

.timeindex

以时间戳为索引来记录对应的.log日志文件中的消息偏移量

partition.metadata

记录当前Partition所属的cluster和Topic

leader-epoch-checkpoint
和epoch机制相关

index和timeindex加速读取log消息日志

index和timeindex都是以相对偏移量的方式建立log消息日志的数据索引。比如 0000.index和0550.index中记录的索引数字,都是从0开始的。表示相对日志文件起点的消息偏移量。而绝对的消息偏移量可以通过日志文件名 + 相对偏移量得到。

这两个索引并不是对每一条消息都建立索引。而是Broker每写入40KB的数据,就建立一条index索
引。

Kafka的消费者通过这两个索引能够指定从某一个offset或者某一个时间点读取消息。

http://www.lryc.cn/news/267612.html

相关文章:

  • gitattributes配置文件的作用
  • 【华为鸿蒙系统学习】- 如何利用鸿蒙系统进行App项目开发|自学篇
  • 基于SpringBoot的足球社区管理系统
  • ubuntu22.04上安装charles-proxy
  • (2021|CVPR,XMC-GAN,对比学习,注意力自调制)用于文本到图像生成的跨模态对比学习
  • 【Linux基本命令】
  • Wi-Fi、蓝牙、ZigBee等多类型无线连接方式的安全物联网网关设计
  • 华清远见嵌入式学习——ARM——作业4
  • 25. K 个一组翻转链表
  • jQuery的事件-动画-AJAX和插件
  • 【开源】基于JAVA语言的企业项目合同信息系统
  • 遗传算法的应用——求解一元函数的极值
  • Power BI 学习
  • PPT中加入页码
  • xxl-job使用笔记
  • 微短剧,会成为长视频的“救命稻草”吗?
  • web架构师编辑器内容-创建业务组件和编辑器基本行为
  • 力扣刷题记录(18)LeetCode:474、518、377、322
  • MongoDB创建和查询视图(一)
  • paddle 53 基于PaddleClas2.5训练自己的数据(训练|验证|推理|c++ 部署)
  • 智能优化算法应用:基于卷积优化算法3D无线传感器网络(WSN)覆盖优化 - 附代码
  • 项目中日期封装
  • 7.仿若依后端系统业务实践
  • java:4-9键盘输入
  • 制作自己的 Docker 容器
  • Linux的账号及权限管理
  • Flink 状态管理与容错机制(CheckPoint SavePoint)的关系
  • CSS中更加高级的布局手段——定位之绝对定位
  • SQL server 数据库练习题及答案(练习3)
  • 太绝了!这个食堂服务,戳中了打工人的心巴!