当前位置: 首页 > news >正文

为什么Redis集群的最大槽数是16384个?

在这里插入图片描述
对于客户端请求的key,根据公式HASH_SLOT=CRC16(key) mod 16384,计算出映射到哪个分片上,然后Redis会去相应的节点进行操作!

为什么有16384个槽?
Redis集群并没有使用一致性hash而是引入了哈希槽的概念。Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽,集群的每个节点负责一部分hash槽。但为什么哈希槽的数量是16384(2^14)个呢?

CRC16算法产生的hash值有16bit,该算法可以产生2^16=65536个值。
换句话说值是分布在0~65535之间。那作者在做mod运算的时候,为什么不mod65536,而选择mod16384?

antirez作者给出了答案
https://github.com/redis/redis/issues/2576

在这里插入图片描述

  • 翻译(可能不好理解)

正常的心跳数据包带有节点的完整配置,可以用幂等方式用旧的节点替换旧节点,以便更新旧的配置。
这意味着它们包含原始节点的插槽配置,该节点使用2k的空间和16k的插槽,但是会使用8k的空间(使用65k的插槽)。
同时,由于其他设计折衷,Redis集群不太可能扩展到1000个以上的主节点。
因此16k处于正确的范围内,以确保每个主机具有足够的插槽,最多可容纳1000个矩阵,但数量足够少,可以轻松地将插槽配置作为原始位图传播。请注意,在小型群集中,位图将难以压缩,因为当N较小时,位图将设置的slot / N位占设置位的很大百分比。

接下来我们来讲一下工作原理和名词,最后来翻译出作者的意思

回忆一下RedisCluster的工作原理
在这里插入图片描述
意思很简单,让6379节点和6380节点知道彼此存在!
在握手成功后,连个节点之间会定期发送ping/pong消息,交换数据信息,如下图所示。
在这里插入图片描述
在这里,我们需要关注三个重点。

  • 交换什么数据信息

消息体是一些节点标识,IP,端口号,发送时间。
在这里插入图片描述
消息头里面有个myslots的char数组,长度为16383/8,这其实是一个bitmap,每一个位代表一个槽,如果该位为1,表示这个槽是属于这个节点的。

  • 数据信息究竟多大

在消息头中,最占空间的是myslots[CLUSTER_SLOTS/8]。这块的大小是:
16384÷8÷1024=2kb

  • 定期的频率什么样

redis集群内节点,每秒都在发ping消息。规律如下

  • (1)每秒会随机选取5个节点,找出最久没有通信的节点发送ping消息
  • (2)每100毫秒(1秒10次)都会扫描本地节点列表,如果发现节点最近一次接受pong消息的时间大于cluster-node-timeout/2 则立刻发送ping消息
    因此,每秒单节点发出ping消息数量为

数量=1+10*num(node.pong_received>cluster_node_timeout/2)

回答作者的意思

(1)如果槽位为65536,发送心跳信息的消息头达8k,发送的心跳包过于庞大。如上所述,在消息头中,最占空间的是myslots[CLUSTER_SLOTS/8]。
当槽位为65536时,这块的大小是:65536÷8÷1024=8kb
因为每秒钟,redis节点需要发送一定数量的ping消息作为心跳包,如果槽位为65536,这个ping消息的消息头太大了,浪费带宽。

  • (1)每秒会随机选取5个节点,找出最久没有通信的节点发送ping消息
  • (2)每100毫秒(1秒10次)都会扫描本地节点列表,如果发现节点最近一次接受pong消息的时间大于cluster-node-timeout/2 则立刻发送ping消息

(2)redis的集群主节点数量基本不可能超过1000个。如上所述,集群节点越多,心跳包的消息体内携带的数据越多。如果节点过1000个,也会导致网络拥堵。因此redis作者,不建议redis cluster节点数量超过1000个。
那么,对于节点数在1000以内的redis cluster集群,16384个槽位够用了。没有必要拓展到65536个。

(3)槽位越小,节点少的情况下,压缩比高,容易传输
Redis主节点的配置信息中它所负责的哈希槽是通过一张bitmap的形式来保存的,在传输过程中会对bitmap进行压缩,但是如果bitmap的填充率slots / N很高的话(N表示节点数),bitmap的压缩率就很低。 如果节点数很少,而哈希槽数量很多的话,bitmap的压缩率就很低。

http://www.lryc.cn/news/285.html

相关文章:

  • 餐饮企业数据可视化大屏(智慧餐饮)
  • Kafka安装及zookeeper is not a recognized option问题解决
  • leetcode刷题 | 关于二叉树的题型总结1
  • webpack新手入门
  • Redis中有常见数据类型
  • 【知识梳理】Go语言核心编程
  • Java中动态调用setter以及getter
  • 基于 NeRF 的 App 上架苹果商店!照片转 3D 只需一部手机,网友们玩疯了
  • C++类与对象(中)
  • 计算机软件技术基础复习
  • python爬虫--beautifulsoup模块简介
  • Swfit Copy On Write 原理解析
  • 【面试题】经典面试题:让 a == 1 a == 2 a == 3 成立?
  • 我是歌手-C语言
  • Acwing---112.雷达设备
  • SSJ-21A AC220V静态【时间继电器】
  • m序列发生器——Verilog设计
  • Mysql—触发器
  • DVWA靶场通关和源码分析
  • RocketMQ5.0.0消息存储<二>_消息存储流程
  • 【单片机方案】蓝牙体温计方案介绍
  • React 的受控组件和非受控组件有什么不同
  • 【逐步剖C】-第六章-结构体初阶
  • Java 并发在项目中的使用场景
  • 15.面向对象程序设计
  • Element UI框架学习篇(一)
  • 【算法】【C语言】
  • 【✨十五天搞定电工基础】基本放大电路
  • MyBatis 入门教程详解
  • shiro、springboot、vue、elementUI CDN模式前后端分离的权限管理demo 附源码