当前位置: 首页 > news >正文

golang分布式缓存项目 Day6 防止缓存击穿

该项目原作者:https://github.com/geektutu/7days-golang。本文旨在记录本人做该项目时的一些疑惑解答以及部分的测试样例以便于本人复习。

1 缓存雪崩、缓存击穿与缓存穿透

概念解析

  • 缓存雪崩:缓存在同一时刻全部失效,造成瞬时DB请求量大、压力骤增,引起雪崩。缓存雪崩通常因为缓存服务器宕机、缓存的 key设置了相同的过期时间等引起。
  • 缓存击穿:一个存在的key,在缓存过期的一刻,同时有大量的请求,这些请求都会击穿到 DB ,造成瞬时DB请求量大、压力骤增。
  • 缓存穿透:查询一个不存在的数据,因为不存在则不会写到缓存中,所以每次都会去请求 DB,如果瞬间流量过大,穿透到 DB,导致宕机。

2 singleflight介绍

singleflight 是一个非常有用的包,它提供了一种机制来抑制对某个函数的多次重复调用。这个包特别适用于避免在高并发场景下对同一资源的重复请求,比如在缓存击穿问题中,多个请求同时访问同一个资源时,singleflight 可以确保这些请求中只有一个实际执行,其他请求则等待这个结果,从而减少对后端服务的压力

核心概念
singleflight 包中定义了一个名为 Group 的结构体类型,它表示一类工作,并形成一个命名空间,在这个命名空间中,可以使用重复抑制来执行工作单元。当你调用 Do 方法时,它接收一个键(key)和一个函数(fn)。这个键是用来标识请求的唯一性,而函数则是实际要执行的操作。Do 方法首先会检查是否已经有相同的请求正在处理中。如果有,那么当前请求就会被放入一个等待队列,直到第一个请求完成并返回结果。这时,所有等待的请求都会收到相同的结果。

使用场景
singleflight 常用于以下场景:

  • 缓存击穿:在高并发的情况下,某个热点数据缓存失效后,大量的请求直接访问数据库,造成数据库的压力过大,甚至宕机的现象。使用singleflight 可以确保即使在缓存失效时,也只有一次数据库请求被执行,其他请求等待这次请求的结果 。
  • 避免重复计算:在需要进行复杂计算且结果可以被多个请求共享的场景中,singleflight 可以确保计算只执行一次,其他请求共享这个结果,从而提高效率。

基本使用
使用 singleflight 时,首先需要创建一个 Group 实例,然后通过调用 Do 方法来执行具体的函数。如果相同的键对应的函数已经
被调用,那么后续的调用将会等待第一个调用的结果,而不是重复执行函数

var g singleflight.Group// 模拟耗时操作
func getData(key string) (string, error) {// 模拟数据库查询耗时time.Sleep(2 * time.Second)return "data for " + key, nil
}func main() {// 第一次调用result1, err, shared := g.Do("key", func() (interface{}, error) {return getData("key")})if err != nil {log.Fatal(err)}fmt.Printf("Result1: %s, Shared: %v\n", result1, shared)// 第二次调用,将共享第一次调用的结果result2, err, shared := g.Do("key", func() (interface{}, error) {return getData("key")})if err != nil {log.Fatal(err)}fmt.Printf("Result2: %s, Shared: %v\n", result2, shared)
}

在这个例子中,即使 getData 函数被调用了两次,但由于 singleflight 的机制,实际的数据库查询操作只执行了一次,两次调用共享了这个结果

3 运用singleflight到geecache中

type Group struct {name      stringgetter    GettermainCache cachepeers     PeerPicker// use singleflight.Group to make sure that// each key is only fetched onceloader *singleflight.Group
}func NewGroup(name string, cacheBytes int64, getter Getter) *Group {// ...g := &Group{// ...loader:    &singleflight.Group{},}return g
}func (g *Group) load(key string) (value ByteView, err error) {// each key is only fetched once (either locally or remotely)// regardless of the number of concurrent callers.viewi, err := g.loader.Do(key, func() (interface{}, error) {if g.peers != nil {if peer, ok := g.peers.PickPeer(key); ok {if value, err = g.getFromPeer(peer, key); err == nil {return value, nil}log.Println("[GeeCache] Failed to get from peer", err)}}return g.getLocally(key)})if err == nil {return viewi.(ByteView), nil}return
}
  • 修改 geecache.go 中的 Group,添加成员变量 loader,并更新构建函数 NewGroup。
  • 修改 load 函数,将原来的 load 的逻辑,使用 g.loader.Do 包裹起来即可,这样确保了并发场景下针对相同的 key,load 过程只会调用一次。
http://www.lryc.cn/news/483824.html

相关文章:

  • Redis高可用-主从复制
  • Angular框架:构建现代Web应用的全面指南
  • Golang | Leetcode Golang题解之第563题二叉树的坡度
  • gdb编译教程(支持linux下X86和ARM架构)
  • Android 开发指南:初学者入门
  • 镭速大文件传输软件向金融银行的文档管理提供高效的解决方案
  • D64【python 接口自动化学习】- python基础之数据库
  • HTTP 客户端怎么向 Spring Cloud Sleuth 传输跟踪 ID
  • 为什么hbase在大数据领域渐渐消失
  • 【GPTs】EmojiAI:轻松生成趣味表情翻译
  • 中国车牌分类
  • 边缘计算在工业互联网中的应用
  • C# IEnumerator,IEnumerable ,Iterator
  • Nginx在Windows上和Linux上(Docker启动)分别配置基本身份认证示例
  • 让SQL更优雅!深入浅出【公用表表达式(CTE)】语法及实战案例
  • 快递物流查询API接口如何用PHP调用
  • 【vue2.0入门】vue基本语法
  • Dubbo使用Nacos作为注册中心
  • 【面试分享】xshell连接Linux服务器22端口执行命令top期间的技术细节和底层逻辑
  • stm32以太网接口:MII和RMII
  • ChromeDriver 官方下载地址_测试自动化浏览器驱动
  • 力扣 LeetCode 206. 反转链表(Day2:链表)
  • kafka消费数据太慢了,给优化下
  • ASUS/华硕灵耀X双屏Pro UX8402Z 原厂Win11-22H2系统 工厂文件 带ASUS Recovery恢复
  • 【含开题报告+文档+PPT+源码】基于springboot的毕业设计选题管理系统
  • fastadmin常用操作
  • IPguard与Ping32:谁是企业数据防泄密的最佳选择?
  • C++20新特性的补充讲解
  • uni-app移动端与PC端兼容预览PDF文件
  • Elman 神经网络算法详解