当前位置: 首页 > news >正文

【Redis】解决List类型的消息可靠性问题

前言

平时做后端开发时,如果需要用到消息队列功能,但公司的IT环境又没有提供专业的队列软件(RabitMQ/Kafka…),那么在简单且要求不高的场景下,可以使用 Redis 的List数据类型来做消息队列。

List类型有一个挺致命的缺点,就是消息可靠性。当消费者使用 RPOP 命令从队列中取出一条消息后,如果消费者在消费完成前崩溃了,那么这条消息就永远丢失找不回来了。

注:为了方便理解,下文统一以“左进右出”的 List 作为例子

解决方案

下面介绍两种解决方案,其中推荐方案2

方案1:RPOPLPUSH

使用 RPOPLPUSH 命令从 List 里取出一条消息的同时,又将这条消息写入另一个List,例如:

RPOPLPUSH myqueue myqueue:backup

myqueue里取出一条消息,同时写入到 myqueue:backup备份。

消息有了备份之后,如果消费者程序中途崩溃了,那么重启后,只要首先检查备份队列有没有消息,有的话优先消费备份队列的消息,消费完后再消费主队列的消息就可以了。

但这样的设计只能防止一次程序崩溃,如果在消费备份队列时,消费者又崩溃了呢?岂不是消息又丢失了?难道又用同样的方法建一个myqueue:backup:2队列吗?显然这样的方法很不优雅。

注:RPOPLPUSH 命令自从 Redis 6.2.0 版本开始已经被标记为“过时”,新的替代命令是 LMOVE

方案2:LRANGE + LTRIM

方案2是使用 LRANGELTRIM 命令,LRANGE 命令可以一次性获取 N 条消息,相比 RPOP命令一条条的取效率上要更高。等消息全部消费完毕后,再使用 LTRIM 命令删除消息。这样在调用LTRIM命令前,这批消息会一直都存在于队列中,即使消费者崩溃也不会丢失。

示例 - 从队列右边取出100条数据,然后删除:

LRANGE myqueue -100 -1
LTRIM myqueue 0 -101

myqueue是key名字,后面两个数字是范围 start 和 stop,0代表第一个元素,-1代表最后一个元素,-100代表倒数第100个元素,如此类推。

需要注意的一点是,对于“左进右出”的队列,使用LRANGE获取的一批消息,顺序是跟消费顺序相反的,在消费前应先反转顺序。例如 ["one", "two", "three", "four"] 四个元素,使用
LRANGE myqueue -2 -1获取到的结果是 ["three", "four"],但正确的消费顺序应该是 four -> three

Stream数据类型

如果你使用的是 Redis 5.0 以上版本,那么应该优先考虑使用 Stream 数据类型来做消息队列,Stream相比List在功能上要强大得多,提供了“消费者组”、“ACK确认”等消息队列场景专业功能,有兴趣可以自行网上搜索学习。

http://www.lryc.cn/news/333660.html

相关文章:

  • 挑战30天C++基本入门(DAY8--树)[part 3](速通哦~)
  • 在虚拟机尝试一次用启动盘重装系统
  • 力扣347. 前 K 个高频元素
  • SCP 从Linux快速下载文件到Windows本地
  • plasmo内容UI组件层级过高导致页面展示错乱
  • 《QT实用小工具·十一》Echart图表JS交互之仪表盘
  • 深入浅出理解ArrayBuffer对象TypedArray和DataView视图
  • 人工智能 - 服务于谁?
  • 软考高级架构师:嵌入式系统的内核架构
  • 分布式锁实战
  • 【VMware Workstation】启动虚拟机报错“此主机支持 AMD-V,但 AMD-V 处于禁用状态”
  • 非关系型数据库(缓存数据库)redis的基础认知与安装
  • Go语言如何处理文件
  • Java基础知识总结(42)
  • C++ | Leetcode C++题解之第6题Z字形变换
  • JavaEE——手把手教你实现简单的 servlet 项目
  • X年后,ChatGPT会替代底层程序员吗?
  • OpenAI 推出新网络爬虫GPTBot,为GPT-5做准备
  • 【Easy云盘 | 第二篇】后端统一设计思想
  • c语言:模拟字符串拷贝功能(strcpy),面试题
  • 信创环境ES索引管理脚本:close, delete
  • torch-v1.3.1-build
  • C语言宏定义笔记
  • 设计模式:生活中的观察者模式
  • Qt实现Kermit协议(四)
  • 苏州金龙助力旅游客运加速蜕变
  • 头盔检测 | 基于Caffe-SSD目标检测算法实现的建筑工地头盔检测
  • Stable diffusion 加载扩展列表报错解决方法
  • Git(8)之分支间同步特定提交
  • 万得AI算法工程师一面面试题6道|含解析