Redis高可用-Cluster(集群)
Redis cluster
cluster 为无中心，分布式 sharding，高可用技术架构。
在哨兵 sentinel 机制中，可以解决 redis 高可用的问题，即当 master 故障后可以自动将 slave 提升为 master 从而可以保证 redis 服务的正常使用。
但是无法解决 redis 单机写入的瓶颈问题，即单机的redis 写入性能受限于单机的内存大小、并发数量、网卡速率等因素，因此 redis 官方在 redis 3.0 版本之后推出了无中心架构的 redis cluster 机制，在无中心的 redis 集群汇中，其每个节点保存当前节点数据和整个集群状态,每个节点都和其他所有节点连接，特点如下：
1：所有 Redis 节点使用(PING 机制)互联
2：集群中某个节点的失效，是整个集群中超过半数的节点监测都失效才算真正的失效
3：客户端不需要 proxy 即可直接连接 redis，应用程序需要写全部的 redis 服务器 IP。
4：redis cluster 把所有的 redis node 映射到 0-16383 个槽位(slot)上，读写需要到指定的 redis node 上进行操作，因此有多少个 reids node 相当于 redis 并发扩展了多少倍。
5：Redis cluster 预先分配 16384 个(slot)槽位，当需要在 redis 集群中写入一个 key -value 的时候，会使用 CRC16(key) mod 16384 之后的值，决定将 key 写入值哪一个槽位从而决定写入哪一个 Redis 节点上，从而有效解决单机瓶颈
架构
| 服务器 | 服务 | 备注 |
|---|---|---|
| 192.168.37.17 | redis | 启动集群配置 |
| 192.168.37.27 | redis | 启动集群配置 |
| 192.168.37.37 | redis | 启动集群配置 |
| 192.168.37.47 | redis | 启动集群配置 |
| 192.168.37.57 | redis | 启动集群配置 |
| 192.168.37.67 | redis | 启动集群配置 |
先决条件
1.每个 redis node 节点采用相同的硬件配置、相同的密码
2.每个节点必须开启的参数
cluster-enabled yes #必须开启集群状态，开启后 redis 进程会有 cluster 显示
cluster-config-file nodes-6380.conf #此文件有 redis cluster 集群自动创建和维护，不需要任何手动操作
3.所有 redis 服务器必须没有任何数据
4.先启动为单机 redis 且没有任何 key value
需要使用到集群管理工具 redis-trib.rb，这个工具是 redis 官方推出的管理 redis 集群的工具，集成在redis 的源码 src 目录下，是基于 redis 提供的集群命令封装成简单、便捷、实用的操作工具，redis-trib.rb 是 redis 作者用 ruby 开发完成的
redis requires Ruby version >= 2.3.0。所以进行编译安装。
[root@node17 src]# pwd
/usr/local/srcwget https://cache.ruby-lang.org/pub/ruby/2.5/ruby-2.5.5.tar.gz
tar -xvf ruby-2.5.5.tar.gz
cd ruby-2.5.5/
./configure
make -j 2
make install
gem install redis
#如果命令执行出错，可能是确实必要的安装包
修改一下配置文件，只需将密码修改为 redis 的密码即可
[root@node1 redis-4.0.14]# vi /usr/local/lib/ruby/gems/2.5.0/gems/redis-4.1.2/lib/redis/client.rb
[root@node1 redis-4.0.14]# cat /usr/local/lib/ruby/gems/2.5.0/gems/redis-4.1.2/lib/redis/client.rb | grep ":password "
:password => 123456,
创建集群
[root@node17 src]# pwd
/usr/local/src/redis-4.0.14/src使用 redis 集群管理工具启动 redis 集群, create 代表创建集群， replicas 代表每个redis 主节点有几个从节点，最后添加所有的 redis 服务
地址， 提示输入时，输入 yes 即可./redis-trib.rb create --replicas 1 192.168.37.17:6379 192.168.37.27:6379 192.168.37.37:6379 192.168.37.47:6379 192.168.37.57:6379 192.168.37.67:6379
[root@node17 src]# pwd
/usr/local/src/redis-4.0.14/src[root@node17 src]# ./redis-trib.rb
Usage: redis-trib <command> <options> <arguments ...>create host1:port1 ... hostN:portN--replicas <arg>check host:portinfo host:portfix host:port--timeout <arg>reshard host:port--from <arg>--to <arg>--slots <arg>--yes--timeout <arg>--pipeline <arg>rebalance host:port--weight <arg>--auto-weights--use-empty-masters--timeout <arg>--simulate--pipeline <arg>--threshold <arg>add-node new_host:new_port existing_host:existing_port--slave--master-id <arg>del-node host:port node_idset-timeout host:port millisecondscall host:port command arg arg .. argimport host:port--from <arg>--copy--replacehelp (show this help)For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster.
#只需要提供任意一个工作node就可以了
集群维护
查看集群状态
[root@node17 src]# redis-cli -a 123456 -h 192.168.37.17 CLUSTER INFO
Warning: Using a password with '-a' option on the command line interface may not be safe.
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:2310
cluster_stats_messages_pong_sent:2214
cluster_stats_messages_fail_sent:8
cluster_stats_messages_sent:4532
cluster_stats_messages_ping_received:2214
cluster_stats_messages_pong_received:2077
cluster_stats_messages_fail_received:2
cluster_stats_messages_received:4293查看集群node关系
[root@node17 src]# redis-cli -a 123456 -h 192.168.37.17 CLUSTER nodes
Warning: Using a password with '-a' option on the command line interface may not be safe.
b93be4cd9708c56a817e534c1bd65f1517dfcd2c 192.168.37.27:6379@16379 master - 0 1568095447000 2 connected 5461-10922
1be5a9efbaeb1e7b2aaac884a51eeeee9044199a 192.168.37.37:6379@16379 master - 0 1568095443324 3 connected 10923-16383
3be2728c5f006018bc497eec0748a69294170bf9 192.168.37.47:6379@16379 slave 1be5a9efbaeb1e7b2aaac884a51eeeee9044199a 0 1568095445337 4 connected
ad5851cba2caac6c76cfdd6bf1bbb8c457fb8ece 192.168.37.57:6379@16379 slave 7ba0fcaa8136efed36a1025e09e38a9ea2ea422e 0 1568095444331 5 connected
0bc30fd51b6a49b1f5545de2828e51ba92498b44 192.168.37.67:6379@16379 slave b93be4cd9708c56a817e534c1bd65f1517dfcd2c 0 1568095447355 6 connected
7ba0fcaa8136efed36a1025e09e38a9ea2ea422e 192.168.37.17:6379@16379 myself,master - 0 1568095445000 1 connected 0-5460
集群运行时间长久之后，难免由于硬件故障、网络规划、业务增长等原因对已有集群进行相应的调整， 比如增加 Redis node 节点、减少节点、节点迁移、更换服务器等。增加节点和删除节点会涉及到已有的槽位重新分配及数据迁移。
集群动态添加节点
准备两台服务器，安装好redis服务。
| 服务器 | 服务 | 备注 |
|---|---|---|
| 192.168.37.77 | redis | 启动集群配置 |
| 192.168.37.87 | redis | 启动集群配置 |
将两台服务器添加到集群
redis-trib.rb add-node new_host:new_port existing_host:existing_port./redis-trib.rb add-node 192.168.37.77:6379 192.168.37.67:6379
./redis-trib.rb add-node 192.168.37.87:6379 192.168.37.67:6379查看集群状态
[root@node17 src]# redis-cli -a 123456 -h 192.168.37.17 CLUSTER nodes[root@node17 src]# redis-cli -a 123456 -h 192.168.37.17 CLUSTER INFO
默认添加的节点都是master,希望node87作为node77的从服务器。
查看87号的复制信息
[root@node87 ~]# redis-cli -a 123456 -h 192.168.37.87 info replication查看77号的ID
[root@node87 ~]# redis-cli -a 123456 -h 192.168.37.87 cluster nodes
04306861ad7bd776e92e54788c453bfa9adbfd4d 192.168.37.77:6379@16379 master - 0 1568098060056 7 connected设置87号为77号的从
[root@node87 ~]# redis-cli -a 123456 -h 192.168.37.87 cluster replicate 04306861ad7bd776e92e54788c453bfa9adbfd4d查看集群状态
[root@node17 src]# ./redis-trib.rb info 192.168.37.67:6379
192.168.37.77:6379 (04306861...) -> 0 keys | 0 slots | 1 slaves.
192.168.37.27:6379 (b93be4cd...) -> 0 keys | 5462 slots | 1 slaves.
192.168.37.37:6379 (1be5a9ef...) -> 0 keys | 5461 slots | 1 slaves.
192.168.37.17:6379 (7ba0fcaa...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 4 masters.
0.00 keys per slot on average.可以看到，主从已经配置OK,但是77还没有分配slots。
下面将重新分配槽位，使用reshard命令，需要清空所有节点数据。然后再重新分配。因此需要提前备份redis数据。
[root@node17 ~]# ./redis-trib.rb reshard 192.168.37.77:6379平均分配输入：4096
输入：all
输入：yes验证当前集群状态
[root@node17 src]# ./redis-trib.rb info 192.168.37.17:6379
192.168.37.17:6379 (7ba0fcaa...) -> 0 keys | 4096 slots | 1 slaves.
192.168.37.27:6379 (b93be4cd...) -> 0 keys | 4096 slots | 1 slaves.
192.168.37.77:6379 (04306861...) -> 0 keys | 4096 slots | 1 slaves.
192.168.37.37:6379 (1be5a9ef...) -> 0 keys | 4096 slots | 1 slaves.
[OK] 0 keys in 4 masters.
0.00 keys per slot on average.
集群动态删除节点
添加节点的时候是先添加 node 节点到集群，然后分配槽位，删除节点的操作与添加节点的操作正好相反，是先将被删除的 Redis node 上的槽位迁移到集群中的其他 Redis node 节点上，然后再将其删除。
如果一个 Redis node 节点上的槽位没有被完全迁移，删除该 node 的时候会提示有数据且无法删除。
删除节点的场景一般是服务器到了3年的服务年限。超过厂商质保期，磁盘开始故障。
被迁移Redis服务器必须保证没有数据
./redis-trib.rb reshard 192.168.37.17:6379How many slots do you want to move (from 1 to 16384)? 4096 #迁移 master 上的多少个槽位What is the receiving node ID? 886338acd50c3015be68a760502b239f4509881c #接收槽位的服务器Source node #1: f4cfc5cf821c0d855016488d6fbfb62c03a14fda #从哪个服务器迁移 4096 个槽位
Source node #2: done #写 done，表示没有其他 master 了Do you want to proceed with the proposed reshard plan (yes/no)? yes #是否继续查看迁移后状态
[root@node17 src]# ./redis-trib.rb info 192.168.37.17:6379
192.168.37.17:6379 (7ba0fcaa...) -> 0 keys | 0 slots | 0 slaves.
192.168.37.27:6379 (b93be4cd...) -> 0 keys | 4096 slots | 1 slaves.
192.168.37.77:6379 (04306861...) -> 0 keys | 8192 slots | 2 slaves.
192.168.37.37:6379 (1be5a9ef...) -> 0 keys | 4096 slots | 1 slaves.
[OK] 0 keys in 4 masters.
0.00 keys per slot on average.
slots迁移后，可以在集群中删除节点了
./redis-trib.rb del-node host:port node_id./redis-trib.rb del-node 192.168.37.77:6379 882e6ed6bd9a6a0d01e95bc1c19e826405853ec5
./redis-trib.rb del-node 192.168.37.87:6379 882e6ed6bd9a6a0d01e95bc1c19e826405853ec5
集群维护之Master宕机
当前架构是三主三从，互为跨主机master slave模式，测试master宕机后是否自动切换至slave
master上测试添加数据
[root@node77 ~]# redis-cli -a 123456 -h 192.168.37.77 set name mage
OK
slave上查看
[root@node57 ~]# redis-cli -a 123456 -h 192.168.37.57 get name
(error) MOVED 5798 192.168.37.77:6379 #slave 不提供读写，只提供数据备份即 master 选举master停止redis服务
[root@node17 src]# ./redis-trib.rb info 192.168.37.27:6379
192.168.37.27:6379 (b93be4cd...) -> 0 keys | 4096 slots | 1 slaves.
192.168.37.57:6379 (ad5851cb...) -> 1 keys | 8192 slots | 0 slaves.
192.168.37.37:6379 (1be5a9ef...) -> 0 keys | 4096 slots | 1 slaves.
[OK] 1 keys in 3 masters.
0.00 keys per slot on average.可以看到57已经从slave升级为master,且master可读写
重启master后，maser77成为了57的从服务器。
集群维护之导入现有Redis数据
./redis-trib.rb import 方法，但是不太好用
其他方案
redis-migrate-tool
官方网址
https://www.oschina.net/p/redis-migrate-tool
使用介绍
https://my.oschina.net/u/3023401/blog/2251461