当前位置: 首页 > news >正文

Redis6 多线程模型

优质博文:IT-BLOG-CN

一、单线程的优缺点

对于一个请求操作Redis主要做3件事情:从客户端读取数据/解析、执行Redis命令、回写数据给客户端。所以主线程其实就是把所有操作的这3件事情串行一起执行,因为是基于内存,所以执行速度非常快。

优点&缺点:
【1】优点:不存在锁的竞争问题和避免线程间CPU的切换。
【2】缺点:单线程无法利用多CPU和串行操作,某个操作“出问题”会“阻塞”后续操作。

Redis6.0之前为什么一直不使用多线程?
使用Redis时,几乎不存在CPU成为瓶颈的情况,Redis主要受限于内存和网络。例如:在一个普通的Linux系统上,Redis通过使用pipelining每秒可以处理100W个请求,如果应该程序主要使用O(N)O(log(N))的命令,它几乎不会占用太多的CPU。如果要用到多核CPU,可以搭建多个Redis实例来解决。

为什么说Redis的瓶颈不在CPU
Redis绝大部分操作是基于内存的,而且是存KV(key-value)操作,命令执行的速度非常快。我们可以这么理解:Redis的数据存储在一个大的HashMap中,而HashMap的优势就是查找和写入的时间复杂度都是O(1)Redis内部采用这种结构存储数据,就奠定了Redis高性能的基础。

二、Redis 的多线程

Redis基于内存操作,内存的响应时长大约为100纳秒,单线程的Redis处理数据的极限是80,000100,000 QPS,对于80%的公司来说,单线程的Redis已经足够使用了。

因为网络I/ORedis执行期间占用了大部分CPU时间,所以把网络I/O部分单独抽离出来,做成多线程的方式。这里所说的多线程,其实就是将Redis单线程中做的这两件事情“从客户端读取数据、回写数据给客户端”(也可以称为网络I/O),处理成多线程的方式,但是“执行Redis命令”还是在主线程中串行执行,这个逻辑保持不变。

主线程和多个I/O线程,都同时处理图中的“队列”,是不是会存在锁竞争的关系尼?这里有个巧妙的设计,就是当epoll获取socket链接时,会将该事件先全部扔进队列中,比如扔了N个事件,这时主线程就会处于忙碌状态。然后多个I/O线程开始去并行进行网络I/O,并对数据进行协议解析,当队列全部处理完毕后,主线程会对队列中请求串行“执行Redis命令”,然后清空该队列。所以整个执行流程总结下来:主线程执行请求入队列 -> I/O线程并行进行网络读 -> 主线程串行执行Redis命令 -> I/O线程并行进行网络写 ->主线程清空队列,并接收下一批请求。

Redis 6.0的多线程是禁用的,默认使用是主线程。官方建议:只在机器至少有4个内核时才启用多线程模型,且至少留下一个备用内核。如果需要开启多线程需修改redis.conf配置文件:

io-threads-do-reads yes

开启多线程后,还需要设置线程数,否则是不生效的。同样修改redis.conf配置文件:

io-threads 3

Redis官方建议:只在机器至少有4个内核时才启用多线程模型,且至少留下一个备用内核。4核的机器建议设置为23个线程,8核的建议设置为6个线程,线程数一定要小于机器核数。还需要注意的是,线程数并不是越大越好,官方认为超过了8个基本就没什么意义了。

三、Redis6 多线程原理解析

近年来底层网络硬件性能越来越好,Redis的性能瓶颈逐渐体现在网络I/O的读写上,单个线程处理网络I/O读写的速度跟不上底层网络硬件执行的速度。

Redis6.0多线程是把主线程处理网络IO和协议解析这两件事给了一组独立的线程处理,使得多个socket读写可以并⾏化,但Redis命令还是主线程串⾏执⾏。

主要流程如下:
【1】主线程负责接收并建立(多个)连接请求,获取socket后放入全局等待处理队列;
【2】主线程处理完这些事件之后,通过RRRound Robin轮询)将可读socket分配给这些IO线程;
【3】主线程阻塞,等待IO线程完成命令的读取、解析;

继续使⽤单线程执⾏读写命令,不需要为了保证Lua脚本、事务、等开发多线程安全机制,实现更简单。

【4】主线程执⾏IO线程读取和解析出来的Redis请求命令,并将结果写到输出缓冲区;
【5】主线程阻塞,等待IO线程将命令执⾏结果写回socket(客户端);
【6】主线程执行所有命令并清空整个等待队列,等待客户端后续的请求队列;

三、性能对比

压测配置:
Redis Server: 阿里云Ubuntu 18.04,8 CPU 2.5 GHZ, 8G内存,主机型号ecs.ic5.2xlarge
Redis Benchmark Client: 阿里云Ubuntu 18.04,8 2.5 GHZ CPU, 8G内存,主机型号ecs.ic5.2xlarge

压测命令: redis-benchmark -h 192.168.0.49 -a foobared -t set,get -n 1000000 -r 100000000 --threads 4 -d ${datasize} -c 256

从上面可以看到GET/SET命令在4线程IO时性能相比单线程是几乎是翻倍了。另外,这些数据只是为了简单验证多线程IO是否真正带来性能优化,并没有针对严谨的延时控制和不同并发的场景进行压测。数据仅供验证参考而不能作为线上指标,且只是目前的unstble分支的性能,不排除后续发布的正式版本的性能会更好。

http://www.lryc.cn/news/450744.html

相关文章:

  • Python的异步编程
  • 初识Linux · 进程等待
  • 面向对象建模
  • MetaJUI v0.4 遇到的一些问题及解决办法记录
  • 从零开始学习OMNeT++系列第二弹——新建一个OMNeT++的工程
  • 【Android】布局优化—include,merge,ViewStub的使用方法
  • 传奇外网架设教程带图文解说—Gee引擎
  • MySQL | excel数据输出insert语句
  • 足球青训俱乐部管理:Spring Boot技术驱动
  • 一次实践:给自己的手机摄像头进行相机标定
  • 【docker学习】Linux系统离线方式安装docker环境方法
  • vscode开发uniapp安装插件指南
  • Elasticsearch7.7.1集群不能相互发现的问题解决以及Elasticsearch7.7.1安装analysis-ik中文分词插件的应用
  • 蓝牙Mesh介绍
  • Qt 窗口中鼠标点击事件的坐标探讨
  • 服务器虚拟化的全面指南
  • Linux启动mysql报错
  • 基于大数据的二手房价数据可视化系统
  • C++模拟实现vector容器【万字模拟✨】
  • 论文笔记:LAFF 文本到视频检索的新基准
  • iSTFT 完美重构的条件详解
  • SSH(安全外壳协议)可以基于多种加密算法
  • Navicat 工具 下载安装
  • 家用高清投影仪怎么选?目前口碑最好的投影仪推荐
  • 阿里云盾同步漏洞之限制请求数
  • docker安装kafka-manager
  • Android Studio 新版本 Logcat 的使用详解
  • 基于php摄影门户网站
  • uniapp中uni.request的统一封装 (ts版)
  • 记录一次gRpc流式操作(jedis版)