当前位置: 首页 > news >正文

Rockdb简介

背景

最近在使用flink的过程中,由于要存储的状态很大,所以使用到了rockdb作为flink的后端存储,本文就来简单看下rockdb的架构设计

Rockdb设计

Rockdb采用了LSM的结构,它和hbase很像,不过严格的说,基于LSM结构的存储都差不多,我们简单看一下它的架构图
在这里插入图片描述

写操作

1.写记录会先写入到WAL日志文件中,由于是顺序写,速度不会慢,然后再把记录写入内存中的memtable中,如果memtable达到阈值,就把这个memtable变成一个不可变的Immutable-memtable,此外会再创建出来一个新的memtable用于接收用户写入

2.Immutable-memtable内存表的数量达到上限后,会把他们的数据刷新到SSTable磁盘文件中,只保存固定数量的Immutable-memtable内存表

3.定期把低Level的sst文件合并成高Level的sst文件,其目的是为了清理已经被删除的记录,由于sstable文件是只Append,所以删除操作只有在文件合并的时候才会实际发生,此外,减少sst文件的个数,也有助于读取操作的性能

读操作

1.读首先读取memtable内存表,如果没有,从索引(布隆过滤器索引BloomFilterIndex或者数据索引DataIndex)中查找到记录所在的sstable文件的块位置,注意,索引(布隆过滤器索引BloomFilterIndex或者数据索引DataIndex)的数据最好是常驻内存的,也就是对于flink来说,state.backend.rocksdb.memory.high-prio-pool-ratio的配置值不要设置为0

2.获取到记录所在的sstable的对应数据块后,优先从内存中的BlockCache查找数据块,如果找到,查询结束,否则,继续下一步

3.读取sstable文件中的指定数据块的数据,返回记录后把对应的数据块放到BlockCache中,以便下次查找

http://www.lryc.cn/news/234023.html

相关文章:

  • 【MyBatis】写了 10 年的代码,我最怕写 MyBatis 这些配置,现在有详解了
  • 全球地表水数据集JRC Global Surface Water Mapping Layers v1.4
  • Spring过滤器和拦截器的区别
  • HIS医疗项目
  • eclipse启动无法找到类(自定义监听器)
  • Ubuntu openssh-server 离线安装
  • servlet页面以及控制台输出中文乱码
  • 《向量数据库指南》——TruLens + Milvus Cloud构建RAG深入了解性能
  • vscode代码上传到gitlab
  • Spring Boot 项目的常用注解与依赖
  • 【C++11】多线程库 {thread线程库,mutex互斥锁库,condition_variable条件变量库,atomic原子操作库}
  • 智能导诊系统:基于机器学习和自然语言处理技术,可快速推荐合适的科室和医生
  • 如何防止图片抖动
  • 依赖注入方式
  • HTML 超链接 a 标签
  • 【cpolar】Ubuntu本地快速搭建web小游戏网站,公网用户远程访问
  • 数字化企业需要什么样的数据中心
  • el-table固定表头(设置height)出现内容过多时不能滚动问题
  • 从流程优化到经营提效,法大大电子签全面助力智慧零售升级
  • Jquery 通过class名称属性,匹配元素
  • 复杂数据统计与R语言程序设计实验二
  • python3:print()打印. 2023-11-18
  • ARM 版 Kylin V10 部署 KubeSphere 3.4.0 不完全指南
  • 二元分类模型评估方法
  • 专业数据标注公司:景联文科技领航数据标注行业,满足大模型时代新需求
  • .Net8 Blazor 尝鲜
  • Vue.js 页面加载时触发函数
  • Go 语言常用数据结构
  • 【数据结构】图的简介(图的逻辑结构)
  • 2342.数位和相等数对的最大和