当前位置: 首页 > news >正文

商品中心关于缓存热key的解决方案

缓存热key一旦被击穿,流量势必会打到数据库,如果数据库崩了,游戏直接结束。

从两点来讨论:如何监控、如何解决。

如何监控

  1. 通过业务评估:比如营销活动推出的商品或者热卖的商品。
  2. 基于LRU的命令,redis-cli --hotkeys,通过任务调度定时去获取?
  3. 基于redis客户端、或者代理层、或者redis监控策略,利用大数据领域的流式计算技术(如Storm、Spark Streaming、Flink)进行实时数据访问次数的统计,一旦发现热点数据,即可进行处理。

分析

为什么不直接访问数据库获取数据?
因为数据库主要是为了增量数据持久化,资源宝贵;库的并发连接数也有瓶颈;不好抗啊。

为什么要使用缓存?
缓存可以抗住海量并发;内存操作,速度快;

怎么保证缓存性能?
缓存预热;

缓存中间抗不住怎么办?
采用多级缓存,先访问本地缓存,再访问Redis缓存,减轻压力;增加Redis节点;

本地缓存需要注意些什么?
缓存核心(最)热点的数据;控制好缓存数据量级;堆内存啊,别OOM了;

缓存失效怎么办?
在访问数据库的时候加锁,控制流量,允许一个请求访问数据库,其他流量等待。

加什么锁?jvm锁还是分布式锁?
加本地锁就够了,数据库还没那么不堪一击,而且本地锁无网络开销、轻量快捷。

缓存哪些数据?
上面说了如何监控热点数据;关于动态的热点数据也需要实时监控?

还有什么兜底方案吗?
针对数据库流量进行限流,做最后的防护;

怎么做流量预估?
业务评估;全链路压测;

怎么保证可用性?
止血方案(开关、配置);监控;降级策略;扩容;

如何应对RPC线程池溢出造成的QPS瓶颈问题?
在客户端做一层缓存,同服务端缓存的逻辑一样。

如何解决

  1. 评估流量(redis和mysql是否能扛得住)
  2. 热key进行拆分,分散到不同的redis节点;增加redis节点
  3. 多级缓存,本地缓存 -》 redis缓存
  4. 如下策略:加锁+限流

伪代码

public class Main {private static final ReentrantLock lock = new ReentrantLock();private static final  AtomicInteger retryCount = new AtomicInteger(0);public String getCacheValue(String key) throws Exception {try{String result = cache.get(key);if (result == null) {boolean b = lock.tryLock(200, TimeUnit.MILLISECONDS);if (b || retryCount.get() > 10) {String limit = limit.get(key);if (!limit.equals("限流")) {result = db.get(key);}} else {Thread.sleep(200);retryCount.incrementAndGet();result = this.getCacheValue(key);}}}finally{lock.unlock();}return result;}
}
http://www.lryc.cn/news/408180.html

相关文章:

  • 【Python系列】Parquet 数据处理与合并:高效数据操作实践
  • 大脑自组织神经网络通俗讲解
  • org.springframework.context.annotation.DeferredImportSelector如何使用?
  • 缓慢变化维
  • Vue常用的指令都有哪些?都有什么作用?什么是自定义指令?
  • kettle从入门到精通 第八十一课 ETL之kettle kettle中的json对象字段写入postgresql中的json字段正确姿势
  • 计算机网络实验-RIP配置与分析
  • 33.【C语言】实践扫雷游戏
  • git学习笔记(总结了常见命令与学习中遇到的问题和解决方法)
  • 【计算机网络】TCP协议详解
  • 2.3 大模型硬件基础:AI芯片(上篇) —— 《带你自学大语言模型》系列
  • Java | Leetcode Java题解之第279题完全平方数
  • JS逆向高级爬虫
  • 基于Golang+Vue3快速搭建的博客系统
  • DVWA中命令执行漏洞细说
  • 【YOLOv5/v7改进系列】引入中心化特征金字塔的EVC模块
  • 【QT】常用控件(概述、QWidget核心属性、按钮类控件、显示类控件、输入类控件、多元素控件、容器类控件、布局管理器)
  • 【Python】字母 Rangoli 图案
  • html+css 实现水波纹按钮
  • 科技与占星的融合:AI 智能占星师
  • 判断字符串,数组方法
  • SpringBoot Vue使用Jwt实现简单的权限管理
  • java中的多态
  • 【数据结构】:用Java实现链表
  • 前端开发知识(三)-javascript
  • Windows图形界面(GUI)-MFC-C/C++ - MFC绘图
  • 51单片机-第五节-串口通信
  • 【Linux常用命令】之df命令
  • 2024年起重信号司索工(建筑特殊工种)证模拟考试题库及起重信号司索工(建筑特殊工种)理论考试试题
  • AWS全服务历史年表:发布日期、GA和服务概述一览 (全)