当前位置: 首页 > news >正文

【软考高级架构】关于分布式数据库缓存redis的知识要点汇总

一.分布式数据库的含义

        分布式数据库缓存指的是在高并发的环境下,为了减轻数据库的压力和提高系统响应时间,在数据库系统和应用系统之间增加一个独立缓存系统。

二.常见的缓存技术


(1)MemCache: Memcache是一个高性能的分布式的内存对象缓存系统,用于动态Web应用以减轻数据库负载。Memcache在内存里维护一个统一的巨大的hash表,数据存在该hash表中。
(2)Redis: Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、KeyValue数据库 (支持多种数据结构,如key-value、string、set、list等),并提供多种语言的API。
(3)Squid:Squid是一个高性能的代理缓存服务器,Squid支持FTP、gopher、HTTPS和HTTP协议。

三.Memcache与Redis的对比

四.Redis分布式存储的常见方案

1、主从模式 (Master/Slavel):一机多从,故障时手动切换

2、哨兵模式 (Sentinel):有哨兵的一主多从,主节点故障自动选择新的节点

3、集群模式(Cluster):分界点对等集群,分slots,不同的slots的信息存储到不同的节点

五.Redis集群切片的常见方式

1、客户端分片:即在客户端通过key的hash值对应到不同的服务器。

2、中间件实现分片:在应用软件和Redis中间,例如: Twemproxy、Codis等,由中间件实现服务到后台Redis节点的路由分派.

3、客户端服务端协作分片:Redis Cluster模式,客户端可采用一致性哈希,服务端提供节点的重定向服务slot上。不同的slot对应到不同服务器。

六.Redis的分片方案

1、范围分片:按照数据范围来分片

2、哈希分片:通过Key进行hash运算分片,可以将数据比较均匀地分配到每一个结点,类似取余操作。

3、一致性哈希分片:哈希分片的改进,把存储节点和需要存储的数据放在一个hash环上,数据根据hash值在hash环上按照顺时针方向找到对应的结点

七.Redis和数据库之间数据同步方案(一致性)

1、读取数据时,先读取redis中的数据,如果redis没有,则从原数据库中读取,并同步更新redis中的数据。写回时,写入到原数据库中,并同步更新到redis中

2、异步队列方式实现同步,可采用消息中间件处理

3、通过数据库插件完成数据同步

4、利用触发器进行缓存同步

八.Redis的数据淘汰算法

1、不淘汰:noeviction,当空间不足时就报错,是系统的默认淘汰策略。

2、设置过期时间的键空间:

         2.1、volatile-random:随机移除某个key

         2.2、volatile-lru:移除最近没有使用的

         2.3、volatile-ttl:ttl值小的key优先淘汰

3、全键空间:

         3.1、allkey-random:随机移除某个key

         3.2、allkey-lru:移除最近没有使用的

九.Redis的持久化

1、AOF:日志思路,把每条操作命令追加到AOF文件尾部,一旦有问题可以重新执行AOF文件中的命令

2、RDB:快照,指定时间间隔将数据进行快照存储

十.Redis常见问题

1、缓存雪崩

定义:大部分缓存失效导致请求往数据库发送,导致数据库奔溃

解决方案:

  1. 使用锁或队列:使用排他锁或者队列方式保证不会有大量线程对数据库一次性进行读写,避免缓存雪崩时大量并发请求落到底层存储系统上
  2. 为key设置不同的缓存失效时间:固定失效时间+随机失效时间
  3. 二级缓存:设置两个缓存(有时间限制+无时间限制),避免大规模访问数据库导致缓存雪崩

2、缓存穿透

定义:查询无数据返回导致直接插数据库,查询一个数据时,优先在缓存中寻找,如果缓存中没有就去数据库中寻找,但如果数据库中也没有,就会返回一个空值,但是如果后面还要查找这个数据,就会频繁地重复以上步骤,这就违背了当初设置缓存的作用

解决方案:

  1. 第一次查询结果为空时,设置一个默认值存放到缓存,第二次再查到缓存里就有值了。在设置一个5分钟的过期时间,以便正常更新缓存
  2. 设置布隆过滤器,将所有可能存在的数据hash到一个足够大的bitmap中,一个不存在的数据会被bitmap拦截掉,从而避免了对底层数据库的查询压力

3、缓存预热

http://www.lryc.cn/news/468118.html

相关文章:

  • 构建自然灾害预警决策一体化平台,筑牢工程安全数字防线
  • 随机题两题
  • 信息安全工程师(69)数字水印技术与应用
  • 知识点框架笔记3.0笔记
  • Android组件化开发
  • centos-LAMP搭建与配置(论坛网站)
  • Python 实现日期计算与日历格式化输出
  • npm install 安装很慢怎么办?
  • 【WRF数据处理】基于GIS4WRF插件将geotiff数据转为tiff(geogrid,WPS所需数据)
  • python+大数据+基于Hadoop的个性化图书推荐系统【内含源码+文档+部署教程】
  • 修改huggingface的缓存目录以及镜像源
  • 散列表:如何解决哈希表装载因子过高导致的性能下降问题?
  • Vue Router进阶学习
  • Linux巡检利器xsos的安装和使用
  • Django+Vue项目搭建
  • 【NLP自然语言处理】Attention机制原理揭秘:赋予神经网络‘聚焦’与‘理解’的神奇力量
  • PHP依赖注入的原理
  • 文本相似度方案
  • appium 的工作原理
  • ECharts饼图-富文本标签,附视频讲解与代码下载
  • 关于在windows10系统64位安装luasocket问题
  • 模型拆解(二):GeleNet
  • RTE 2024 隐藏攻略
  • django 部署服务器后 CSS 样式丢失的问题
  • 基于springboot的网上服装商城推荐系统的设计与实现
  • 盘古信息IMS系统助力制造企业释放新质生产力
  • ArcGIS 10.8 安装教程
  • Redis学习笔记(二)--Redis的安装与配置
  • 软件工程之软件系统设计与软件开发方法
  • pip命令行安装pytest 一直报错