当前位置: 首页 > news >正文

十种数据库缓存相关的技术和机制

数据库的缓存 -- 通过将数据库中的数据或结果集保存在内存或其他快速访问的介质中,能够加快查询响应,减少对磁盘或远程服务器的访问,降低资源消耗。

根据缓存的位置、内容、粒度、更新方式等不同,数据库缓存技术有多种类型和策略。常用的以下10种:

1、Buffer Pool:

数据页缓存 -- 将频繁访问的数据页缓存在内存中的技术,可以提高查询性能和减少磁盘I/O。数据页是数据库中存储数据的最小单位,通常为4KB或8KB。当查询需要访问某个数据页时,数据库会先检查该数据页是否已经在Buffer Pool中,如果是,则直接从内存中读取,如果不是,则从磁盘中读取并放入Buffer Pool中。Buffer Pool的大小可以根据系统资源和数据库负载进行调整。

2、查询缓存( Query cache )

缓存经常重复的查询结果,避免重复执行SQL,可以节省CPU资源和网络带宽。当查询缓存开启时,数据库会将每个查询的SQL语句和结果集保存在内存中,当收到相同的SQL语句时,数据库会直接返回缓存的结果集,而不需要再次执行SQL。查询缓存的有效性依赖于表的更新频率,如果表经常被修改,则查询缓存会失效并需要重新生成。

3、预读 ( Pre-fetching )

根据数据库的访问模式,预先缓存可能使用的数据,是一种提高查询性能和预防磁盘I/O瓶颈的技术。预读有两种类型:顺序预读随机预读。顺序预读是指当数据库检测到连续访问相邻数据页时,会提前从磁盘中读取后续的数据页并放入Buffer Pool中,以满足后续的查询需求。随机预读是指当数据库检测到频繁访问某些索引页时,会提前从磁盘中读取相关的数据页并放入Buffer Pool中,以加速索引查找。

4、异步I/O ( Asynchronous I/O )

允许多个查询并发访问缓存,是提高数据库吞吐量和响应时间的技术。当数据库需要从磁盘中读取或写入数据时,不阻塞当前的查询进程,而是将I/O请求交给系统处理,并继续执行其他查询或操作。这样避免查询等待I/O完成而浪费CPU资源,并可以充分利用系统的I/O调度算法和硬件特性。

5、连接池 ( Connection Pool )

复用已存在连接的技术。避免连接反复创建、销毁,减少连接开销,提高连接效率。由数据库服务器维护一组已经建立好的连接,并将其保存在内存中。当客户端请示连接数据库时,数据库服务器从连接池中分配一个空闲的连接给客户端,并在客户端断开连接后将连接回收到连接池中。避免了每次都重新建立和销毁连接所带来的时间和资源消耗,并且可以控制并发连接数量。

6、照合缓存 ( Metadata Cache )

为了加速表扫描和索引查找,缓存经常访问表的元数据信息的一种缓存技术。照合缓存是将每个表的结构、列、索引、约束等信息保存在内存中,并在收到对该表的查询时直接从内存中获取这些信息,而不需要再次从系统表中读取。这样可以减少对系统表的访问次数,快速确定查询计划。

7、Write Ahead Log

事务提交前先写入日志,可以保证事务的持久性和原子性。Write Ahead Log是当数据库执行一个事务时,并不是立即将事务对数据的修改写入磁盘,而是先将事务的操作记录写入日志文件中,在事务提交时将日志文件刷新到磁盘。这样可以避免频繁的数据写入操作,并且可以在数据库崩溃时根据日志文件恢复数据的一致性。

8、事务日志( Transaction Log )

记录事务执行情况,用于数据库恢复。事务日志是数据库服务器将每个事务的开始、结束、提交、回滚等信息记录在日志文件中,并在数据库崩溃时根据这些信息恢复事务的状态。可以保证事务的完整性和隔离性,避免数据丢失或脏读。

9、复制日志( Replication Log )

主从复制时的数据同步日志。复制日志是当数据库服务器作为主服务器时,将自己对数据的修改记录在日志文件中,并将日志文件发送给从服务器,从服务器则根据日志文件更新自己的数据。这样可以实现主从之间的数据一致性,并且可以在主服务器故障时切换到从服务器继续提供服务。

10、物化视图 ( Materialized View )

将查询结果缓存,是一种避免重复计算的技术。物化视图是数据库服务器将某个复杂查询的结果集保存在一个表中,并定期更新这个表。当收到相同或类似的查询时,数据库服务器会直接从物化视图中返回结果,而不需执行复杂查询。

相关内容拓展:(技术前沿)

开发语言作为软件搭建的底层,长久以来一直使用英文编程,Java、C 等语言对于专业程序员来说并不难,然而许多非 IT 专业的人,希望搭建出适合自己使用的软件,却被晦涩难懂的英文编程阻拦在外。

所幸的是,自 2000 年以来,低代码领域虽然在夹缝中艰难生存,但是经历 20 年风雨,如今却已柳木成荫,相关领域企业超过百家,近年如火如荼的“JNPF 平台”更是低代码界的一匹黑马。

JNPF 平台由具备 10 多年系统开发经验和企业项目交付经验的技术团队倾力打造而成的企业级低代码平台。支持多国语言切换搭建界面,业务流程只需要“拖拉拽”方式、少量或完全不需要编写代码即可搭建,操作起来就像搭积木一样简单,会玩电脑就可以开发软件。

核心功能:表单引擎、可视化引擎、BI引擎、流程引擎、权限引擎、门户引擎、大屏引擎、接口中心、物联平台

如果那你未曾尝试过这个领域,你或许可以试试看!官网:https://www.jnpfsoft.com/?csdn

http://www.lryc.cn/news/165419.html

相关文章:

  • 【C++】封装unordered_map和unordered_set(用哈希桶实现)
  • 面试问题回忆
  • 更多场景、更多选择,Milvus 新消息队列 NATS 了解一下
  • 如何通过python实现一个web自动化测试框架?
  • Linux —— 信号阻塞
  • 【【萌新编写riscV之计算机体系结构之CPU 总二】】
  • error:03000086:digital envelope routines::initialization error
  • 暴涨130万粉仅用3个月,一招转型成B站热门UP主
  • 【Linus】vim的使用:命令模式、底行模式、插入模式、视图模式、替换模式的常用操作介绍
  • leetcode第362场周赛补题
  • SpringMvc 之crud增删改查应用
  • 【业务功能109】微服务-springcloud-springboot-Skywalking-链路追踪-监控
  • 《向量数据库指南》——AI原生向量数据库Milvus Cloud 2.3架构升级
  • Flutter中实现交互式Webview的方法
  • 【Java Web】用Redis优化登陆模块
  • 华为云云耀云服务器L实例评测|docker私有仓库部署手册
  • JAVA-3DES对称加解密工具(不依赖第三方库)
  • 基于Matlab卡尔曼滤波的IMU和GPS组合导航数据融合(附上源码+数据)
  • net自动排课系统完整源码(适合智慧校园)
  • Matlab匿名函数教程
  • 【Vue】一文让你进入Vue的大门
  • Linux mmap读/写触发共享文件页生命周期
  • linux 用户、组操作
  • MySQL报错this is incompatible withsal mode=only full group by处理办法
  • Mybatis 动态语言 - mybatis-freemarker
  • 软件源码开发,网络中的“摄像头”:运维监控系统
  • ping命令
  • MFC:程序的托盘显示
  • AI绘画:StableDiffusion实操教程-斗破苍穹-云韵-婚服(附高清图下载)
  • JS装饰器的介绍