当前位置: 首页 > news >正文

基于多级缓存架构的Redis集群与Caffeine本地缓存实战经验分享

封面

业务场景描述

在大规模分布式系统中,数据访问延迟和后端存储压力是常见痛点。我们在设计电商实时推荐模块时,需要满足:

  • 毫秒级读写延迟
  • 高频热点数据击穿、穿透和雪崩风险防控
  • 动态上下线、灰度发布场景下的缓存一致性
  • 系统可扩展性与高可用性要求

为此,我们引入多级缓存架构,将本地缓存(Caffeine)作为一级缓存,Redis集群作为二级缓存,并结合消息通知或异步更新策略,实现低延迟和高稳定性的缓存方案。

技术选型过程

  1. Caffeine 本地缓存:

    • 特点:高性能、支持基于权重和时间的过期策略。
    • 适用场景:热点数据的极快访问,减少跨网络调用。
  2. Redis 集群:

    • 特点:分片集群、水平扩展、支持高可用和读写分离。
    • 适用场景:全局共享缓存,支持大容量和持久化。
  3. 框架集成:

    • Spring Boot + Spring Cache 抽象层,统一注解和管理。
    • Redisson 客户端实现 Redis 集群的连接与锁机制。

通过以上选型,兼顾本地超快访问和集群高可用性,并利用 Spring Cache 简化业务调用。

实现方案详解

项目结构

cache-example/
├── src/main/java/com/example/cache
│   ├── config
│   │   ├── CacheConfig.java        # 缓存配置类
│   │   └── RedissonConfig.java     # Redis 客户端配置
│   ├── service
│   │   └── ProductService.java     # 业务服务示例
│   └── listener
│       └── CacheMessageListener.java # 缓存失效 & 刷新消息监听
└── src/main/resources├── application.yml             # 配置文件└── logback.xml                 # 日志配置

核心配置

application.yml

spring:cache:type: caffeineredis:host: redis-node-1,redis-node-2,redis-node-3port: 6379timeout: 5000ms# Caffeine 本地缓存参数
caffeine:spec: "maximumSize=5000,expireAfterAccess=10m"# Redisson 客户端配置
redisson:cluster:nodeAddresses:- "redis://redis-node-1:6379"- "redis://redis-node-2:6379"- "redis://redis-node-3:6379"

CacheConfig.java

@Configuration
@EnableCaching
public class CacheConfig {@Beanpublic CaffeineCacheManager cacheManager() {CaffeineCacheManager manager = new CaffeineCacheManager();manager.setCaffeine(Caffeine.from("maximumSize=5000,expireAfterAccess=10m"));return manager;}@Beanpublic RedissonClient redissonClient(RedissonProperties props) {Config config = new Config();config.useClusterServers().addNodeAddress(props.getCluster().getNodeAddresses().toArray(new String[0]));return Redisson.create(config);}
}

业务示例代码

ProductService.java

@Service
public class ProductService {@Autowiredprivate RedissonClient redissonClient;@Cacheable(value = "productLocalCache", key = "#id")public Product getProductById(Long id) {// 一级缓存未命中,尝试二级缓存String redisKey = "product:data:" + id;RBucket<Product> bucket = redissonClient.getBucket(redisKey);Product prod = bucket.get();if (prod != null) {return prod;}// 模拟数据库读取prod = readFromDatabase(id);// 更新二级缓存bucket.set(prod, 30, TimeUnit.MINUTES);return prod;}private Product readFromDatabase(Long id) {// 实际业务从 DAO 层查询return productRepository.findById(id).orElseThrow(() -> new NotFoundException("Product not found"));}
}

缓存更新与一致性策略

  1. 采用异步消息通知机制,数据库更新后向消息队列发送失效/刷新指令。
  2. 消费者监听后,先清理一级本地缓存,再更新二级 Redis 缓存。

CacheMessageListener.java

@Component
public class CacheMessageListener {@Autowiredprivate CacheManager cacheManager;@Autowiredprivate RedissonClient redissonClient;@RabbitListener(queues = "cache.update")public void onMessage(CacheEvent event) {// 清理本地缓存Cache cache = cacheManager.getCache("productLocalCache");if (cache != null) {cache.evict(event.getKey());}// 更新 RedisRBucket<Object> bucket = redissonClient.getBucket(event.getRedisKey());bucket.set(event.getNewValue(), 30, TimeUnit.MINUTES);}
}

踩过的坑与解决方案

  • 热点数据击穿:高并发请求绕过缓存直接落库。解决:实现基于 Redisson 的分布式锁,确保只有一个请求回源加载并写入缓存。

  • 本地缓存雪崩:Caffeine 重启或过期导致大规模缓存失效。解决:增加二级缓存并采用预热策略,或使用互斥加载锁降低瞬时压力。

  • 内存占用不可控:Caffeine 未合理设置 maximumSize 导致 OOM。解决:基于业务流量分析设置合理大小,并监控内存使用。

总结与最佳实践

  1. 多级缓存结合本地 Caffeine 与远程 Redis,可兼顾低延迟与高可用性。
  2. 配置合理的过期和容量策略,避免雪崩和 OOM。
  3. 利用分布式锁、异步消息等手段,解决缓存击穿与一致性问题。
  4. 定期监控缓存命中率、内存使用与热点 Key,及时调整参数。

通过上述实践,我们在生产环境实际业务中将页面响应时间从 150ms 降至 20ms,Redis 压力降低 60%,系统整体稳定性和可扩展性显著提升。

http://www.lryc.cn/news/626045.html

相关文章:

  • 原牛:一站式自媒体工具平台
  • 【LeetCode题解】LeetCode 153. 寻找旋转排序数组中的最小值
  • [优选算法专题二——找到字符串中所有字母异位词]
  • 工业4.0时代,耐达讯自动化Profibus转光纤如何重构HMI通信新标准?“
  • 链表基本运算详解:查找、插入、删除及特殊链表
  • 多线程—飞机大战排行榜功能(2.0版本)
  • 科技云报到:AI推理破局,金融服务如何“逆天改命”
  • 颠覆性进化:OpenAI正式发布GPT-5,AI大模型进入“超级智能”时代
  • bit-Agent正式接入GPT-5,九科信息智能体能力再升级!
  • 电子电气架构 ---SDV技术基础与传统E/E架构有何不同?
  • 免费OCR工具支持哪些文档格式转换
  • 中兴B862AV3.2M/B862AV3.1-M2 晨星mso9385_安卓9_原厂备份救砖包
  • 基于C语言基础对C++的进一步学习_知识补充、组合类、类中的静态成员与静态函数、类中的常对象和常成员函数、类中的this指针、类中的友元
  • 网络编程day3
  • 机器翻译60天修炼专栏介绍和目录
  • 大模型问题:幻觉分类+原因+各个训练阶段产生幻觉+幻觉的检测和评估基准
  • 【技术揭秘】AI Agent操作系统架构演进:从单体到分布式智能的跃迁
  • Incredibuild 新增 Unity 支持:击破构建时间过长的痛点
  • Pygame第11课——实现经典打方块小游戏
  • 数据结构:二叉树oj练习
  • Linux------《零基础到联网:CentOS 7 在 VMware Workstation 中的全流程安装与 NAT 网络配置实战》
  • Apache ShenYu网关与Nacos的关联及如何配合使用
  • AJAX (一)
  • C# DevExpress控件安装使用教程
  • 【学习】Linux 内核中的 cgroup freezer 子系统
  • 【自动化运维神器Ansible】Playbook调用Role详解:从入门到精通
  • 常用css
  • 【C++】C++ 的护身符:解锁 try-catch 异常处理
  • 用java语言完成手写mybatis框架(第2章)
  • 借助AI将infoNES移植到HarmonyOS平台的详细方案介绍