当前位置: 首页 > news >正文

Redis 的集群 --- 数据分开扛

序言

 上一章内容中我们介绍到了 哨兵 来保证我们主机在发生故障时能够及时地选出一个新的主机,但是哨兵地加入只是提供了 高可用性故障转移,并没有真正的提升架构的性能。如果不断地加入新的数据的话,主机的压力会很大,一方面是内存占用,一方面是同步数据到从机。
 现有的架构可能不是很好解决现在的问题,集群 来咯,数据分开存,大大减轻每一个主机的压力。具体怎么实现的呢?让我们开始吧。


一、集群的架构

 集群会存在多个主机,每一个主机存储整体数据的一部分,每一个主机都会存在从机以防主机故障替换,整体的结构如下:
在这里插入图片描述
现在问题来了,怎么确定每一台主机存储了哪一些键呢?新加入的键加入到哪一个主机呢?咋们马上说到。


二、集群的工作原理

1. 集群的分片

 现在笔者所知道的分片方式有三种:哈希取余,一致性哈希,哈希槽,相较最为全面的,也是现在所使用的是 哈希槽,我们来看看各自的优劣吧:

哈希取余法

 首先获取一个键所对应的分区非常简单,就需要使用公式:

SLOT = hash(key) % N

在这里的 N 是我们的分区个数,非常简单吧,这是他最大的优势😙。但是当我们的分区个数发生变化时,需要将我们的整体数据重新映射到对应的分区,这个时候就涉及到大量的数据迁移的过程,代价非常高。

一致性哈希法

 这个算法的提出就是解决了 哈希取余法 在增删分区时会涉及到大量的数据移动的问题。首先我们需要知道问题的起因是因为 N (分区个数)发生了变化,所以为了解决这个问题,直接将 N 的大小固定为 2^32,这样我们的 hash(key) % 2^32 的范围一定在 [0, 2^32 - 1] ,形成一个哈希环:
在这里插入图片描述
然后我们将分区提供某种方式也映射到哈希环上,现在我们插入或者是查找一个键的时候,我们先通过计算获知在哈希环上的位置,然后 顺时针 查找到第一个分区。
 现在我们尝试加入一个新的分区,判断带来的影响:
在这里插入图片描述
我们在 A B 之间新加入了一个分区 C,可以得到如下结论:

  • 原来属于 B 的部分数据(A->C) 需要迁移到 C
  • 其他位置的数据不受影响,不需要迁移

这大大降低了我们的开销,因为只需要迁移整体的部分数据,但是这个方法会存在 数据倾斜 的问题,谁占有的弧长越长就代表着我们的数据越有可能分配到该分区上。

哈希槽法

 这个方法其实和 一致性哈希法 非常类似,每一个分区管理一个区间。但是它解决了数据倾斜的问题,当加入新的分区的时候,每个分区的大小都会得到相应的调整,保证平衡负载。
 哈希槽共有 16384 个,每个节点负责一部分槽:
在这里插入图片描述
如上图,比如需要新加入一个分区,我们只需要每一个分区各自迁移约 1365 槽到新的分区中管理即可。既兼顾了数据迁移带来的开销,又兼顾了数据倾斜带来的问题。

2. 加入新的结点

 现在需要在现有的集群当中加入一个新的结点,首先我需要一个介绍人,这个介绍人是现在集群当中的任意一个结点,之后通过 CLUSTER MEET 协议和这个中间人握手。握手成功之后,介绍人需要通告其他主机点我的存在。

可能这个集群中存在较多的主机点,如果介绍人挨个介绍我的话肯定成本非常大。所以使用了一个较为灵活的协议 Gossip(翻译过来是流言蜚语,还挺贴切的),具体思想是每个节点定期与集群中的其他节点交换状态信息。当一个节点知道了某些新的信息(如集群中某个节点的故障信息,新的结点加入),它会将这些信息传播给它所连接的其他节点,这些节点再继续将信息传播给它们各自的邻居。这样,集群中所有节点最终都能知道每个节点的状态。

 现在大家都知道新节点的存在了,但是新的结点具有以下特征:

  • 由于没有分配哈希槽,因此它不保存任何数据
  • 因为它是一个没有分配槽的主服务器,所以当副本想要成为主服务器时,它不会参与选举过程

所以我们需要手动的给新的哈希槽,也就是管理数据的权限:

CLUSTER SETSLOT [<node_id>]


三、总结

 感觉现在查到的资料都没有很详细的介绍一个结点故障转移的过程,容我再看看。

http://www.lryc.cn/news/538263.html

相关文章:

  • 微信小程序中缓存数据全方位解惑
  • LeetCode 每日一题 2025/2/10-2025/2/16
  • 使用 Shiro 和 JPA 结合 MySQL 实现一个简易权限管理系统
  • DeepSeek与医院电子病历的深度融合路径:本地化和上云差异化分析
  • 设计模式:代理模式
  • 141,【1】buuctf web [SUCTF 2019]EasyWeb
  • 破解微服务疑难杂症:2025年全解决方案
  • Node.js 中的 Event 模块详解
  • EasyRTC嵌入式WebRTC视频通话SDK支持Web浏览器、Linux、ARM、Android、iOS
  • pycharm社区版有个window和arm64版本,到底下载哪一个?还有pycharm官网
  • 【玩转全栈】----Django模板语法、请求与响应
  • 网络安全:挑战、技术与未来发展
  • DeepSeek 服务器繁忙的全面解决方案
  • 将OpenWrt部署在x86服务器上
  • 计算机视觉:卷积神经网络(CNN)基本概念(一)
  • 企业文件共享中的权限管理与安全风险防范
  • 使用DeepSeek建立一个智能聊天机器人0.12
  • 国家队出手!DeepSeek上线国家超算互联网平台!
  • Deep seek学习日记1
  • 乐理笔记(持续更新)
  • 【动态路由】系统Web URL资源整合系列(后端技术实现)【nodejs实现】
  • PHP高效、轻量级表格数据处理库 OpenSpout ,很好用
  • 2010年上半年软件设计师考试上午真题的知识点整理(附真题及答案解析)
  • EventSource的使用
  • 【第12章:深度学习与伦理、隐私—12.3 深度学习模型的透明性与可解释性提升策略】
  • RocketMq中RouteInfoManger组件的源码分析
  • java八股文-mysql
  • Cherno C++ P55 宏
  • MybatisMybatisPllus公共字段填充与配置逻辑删除
  • VS Code User和System版区别【推荐使用System版本】and VSCode+Keil协同开发之Keil Assistant