当前位置：首页 > article >正文

大数据量下Redis分片的5种策略

article 2025/9/12 13:30:18

随着业务规模的增长，单一Redis实例面临着内存容量、网络带宽和计算能力的瓶颈。

分片(Sharding)成为扩展Redis的关键策略，它将数据分散到多个Redis节点上，每个节点负责整个数据集的一个子集。

本文将分享5种Redis分片策略。

1. 取模分片(Modulo Sharding)

取模分片是最直观的哈希分片方法，根据键的哈希值对节点数取模来确定分片位置。

工作原理

计算键的哈希值
对节点总数取模得到节点索引
将操作路由到对应节点

实现示例

public class ModuloSharding {private final List<JedisPool> shards;public ModuloSharding(List<String> redisHosts, int port) {shards = new ArrayList<>();for (String host : redisHosts) {shards.add(new JedisPool(new JedisPoolConfig(), host, port));}}private int getShardIndex(String key) {return Math.abs(key.hashCode() % shards.size());}public String get(String key) {int index = getShardIndex(key);try (Jedis jedis = shards.get(index).getResource()) {return jedis.get(key);}}public void set(String key, String value) {int index = getShardIndex(key);try (Jedis jedis = shards.get(index).getResource()) {jedis.set(key, value);}}// 节点数变化时需要重新映射所有键public void reshardData(List<String> newHosts, int port) {List<JedisPool> newShards = new ArrayList<>();for (String host : newHosts) {newShards.add(new JedisPool(new JedisPoolConfig(), host, port));}// 这里需要迁移数据，遍历所有键并重新分配// 实际实现中需要更复杂的逻辑来处理大量数据的迁移// ...this.shards = newShards;}
}

优缺点

优点

实现极其简单
在节点数固定时数据分布相对均匀
计算开销小

缺点

节点数变化时需要大量数据迁移（几乎所有键都会重新映射）
可能产生热点问题
不适合需要频繁扩缩容的场景

适用场景

节点数相对固定的场景
简单实现且对扩容需求不高的小型应用
数据量较小，可以接受全量迁移的系统

2. 代理分片(Proxy-based Sharding)

代理分片通过引入中间代理层来管理分片逻辑，常见的代理包括Twemproxy(nutcracker)和Codis。

工作原理

代理作为应用与Redis节点之间的中间层
客户端连接到代理而非直接连接Redis
代理根据内部算法将请求路由到正确的Redis节点

Twemproxy配置示例

alpha:listen: 127.0.0.1:22121hash: fnv1a_64distribution: ketamaauto_eject_hosts: trueredis: trueserver_retry_timeout: 2000server_failure_limit: 3servers:- 127.0.0.1:6379:1- 127.0.0.1:6380:1- 127.0.0.1:6381:1

优缺点

优点

对应用透明，客户端无需感知分片细节
减少客户端与Redis的连接数
便于管理和监控

缺点

引入单点故障风险
增加了额外的网络延迟
扩容通常需要手动操作
代理层可能成为性能瓶颈

适用场景

需要对现有系统最小改动的场景
多语言环境下统一分片策略
连接数需要控制的高并发场景

3. Redis Cluster

Redis Cluster是Redis官方提供的集群解决方案，从Redis 3.0版本开始支持。

工作原理

使用哈希槽(hash slots)概念，总共16384个槽
每个键根据CRC16算法计算后对16384取模，映射到槽
槽被分配到不同的节点上
支持节点间数据自动迁移和复制

配置与搭建

节点配置示例：

port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

创建集群命令：

redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 \127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 --cluster-replicas 1

客户端支持代码示例

// 使用Lettuce客户端连接Redis Cluster
RedisURI redisUri = RedisURI.Builder.redis("127.0.0.1", 7000).withTimeout(Duration.ofSeconds(60)).build();RedisClusterClient clusterClient = RedisClusterClient.create(redisUri);
StatefulRedisClusterConnection<String, String> connection = clusterClient.connect();
RedisAdvancedClusterCommands<String, String> commands = connection.sync();// 正常操作，客户端会处理集群路由
commands.set("user:1000", "张三");
String value = commands.get("user:1000");

优缺点

优点

官方原生支持，持续更新和维护
去中心化架构，无单点故障
自动故障检测和故障转移
自动处理节点间的数据分片和迁移

缺点

客户端需要支持cluster协议
多键操作受限于槽机制（必须在同一个槽）
资源消耗较高，通信开销大
配置管理相对复杂

适用场景

大规模Redis部署
需要高可用性和自动故障恢复
数据量和负载随时间动态增长
Redis官方生态支持的环境

4. 一致性哈希分片(Consistent Hashing)

一致性哈希算法能够最小化节点变化时需要重新映射的键，适合节点经常变化的环境。

工作原理

将哈希值空间映射到一个环上（0到2^32-1）
Redis节点被映射到环上的某些点
每个键顺时针找到第一个遇到的节点
新增或删除节点只影响相邻节点的数据

实现示例

public class ConsistentHashSharding {private final SortedMap<Integer, JedisPool> circle = new TreeMap<>();private final int numberOfReplicas;private final HashFunction hashFunction;public ConsistentHashSharding(List<String> nodes, int replicas) {this.numberOfReplicas = replicas;this.hashFunction = Hashing.murmur3_32();for (String node : nodes) {addNode(node);}}public void addNode(String node) {for (int i = 0; i < numberOfReplicas; i++) {String virtualNode = node + "-" + i;int hash = hashFunction.hashString(virtualNode, Charset.defaultCharset()).asInt();circle.put(hash, new JedisPool(new JedisPoolConfig(), node.split(":")[0], Integer.parseInt(node.split(":")[1])));}}public void removeNode(String node) {for (int i = 0; i < numberOfReplicas; i++) {String virtualNode = node + "-" + i;int hash = hashFunction.hashString(virtualNode, Charset.defaultCharset()).asInt();circle.remove(hash);}}public JedisPool getNode(String key) {if (circle.isEmpty()) {return null;}int hash = hashFunction.hashString(key, Charset.defaultCharset()).asInt();if (!circle.containsKey(hash)) {SortedMap<Integer, JedisPool> tailMap = circle.tailMap(hash);hash = tailMap.isEmpty() ? circle.firstKey() : tailMap.firstKey();}return circle.get(hash);}public String get(String key) {JedisPool pool = getNode(key);try (Jedis jedis = pool.getResource()) {return jedis.get(key);}}public void set(String key, String value) {JedisPool pool = getNode(key);try (Jedis jedis = pool.getResource()) {jedis.set(key, value);}}
}

优缺点

优点

节点变化时最小化数据迁移
相对均匀的数据分布
适合动态伸缩的环境

缺点

实现较为复杂
虚拟节点引入额外的内存开销
数据分布可能仍有不均衡现象

适用场景

节点频繁增减的环境
需要动态扩缩容的大型应用
对数据迁移成本敏感的场景

5. 按范围分片(Range-based Sharding)

按范围分片基于键值的范围将数据分配到不同节点，特别适合有序数据集。

工作原理

预先定义键的范围划分
根据键所属范围决定存储节点
通常结合有序键使用，如时间序列数据

实现示例

public class RangeSharding {private final TreeMap<Long, JedisPool> rangeMap = new TreeMap<>();public RangeSharding() {// 假设按用户ID范围分片rangeMap.put(0L, new JedisPool("redis1.example.com", 6379));      // 0-999999rangeMap.put(1000000L, new JedisPool("redis2.example.com", 6379)); // 1000000-1999999rangeMap.put(2000000L, new JedisPool("redis3.example.com", 6379)); // 2000000-2999999// 更多范围...}private JedisPool getShardForUserId(long userId) {Map.Entry<Long, JedisPool> entry = rangeMap.floorEntry(userId);if (entry == null) {throw new IllegalArgumentException("No shard available for userId: " + userId);}return entry.getValue();}public String getUserData(long userId) {JedisPool pool = getShardForUserId(userId);try (Jedis jedis = pool.getResource()) {return jedis.get("user:" + userId);}}public void setUserData(long userId, String data) {JedisPool pool = getShardForUserId(userId);try (Jedis jedis = pool.getResource()) {jedis.set("user:" + userId, data);}}
}