Redis-cluster集群架构详解
Redis-cluster集群架构详解
Redis集群是一种分布式存储解决方案，通过将数据划分为16384个槽位（slots），并分配给多个主从节点，实现了数据的复制、高可用性和分片。本文将详细介绍Redis集群的架构、工作原理以及相关操作，帮助读者深入理解这一重要的分布式系统技术。
一、集群架构
Redis集群是一个由多个主从节点组成的分布式服务器，具有复制、高可用和分片的特性。与传统的单机Redis不同，Redis集群不需要Sentinel哨兵也能完成节点移除和故障转移。官方文档称可以扩展上万个节点，但推荐不超过1000个。从节点只担任备份的角色，不承担读写操作。
二、集群原理
Redis Cluster将所有数据划分为16384个slots(槽位），每个节点负责其中一部分槽位，槽位的信息存储在每个节点中；当Redis Cluster的客户端连接集群时，它也会得到一份集群的槽位配置信息缓存在本地，这样可以根据key值定位到目标节点；槽位与服务端机器不一致问题需要纠正机制来实现槽位校验调整；
1. 槽位算法
槽位分配采用CRC16校验算法，具体公式如下：
HASH SLOT=CRC16(key) mod 16384
2. 跳转重定位（槽位纠正机制）
当客户端发出一个错误的节点指令到服务端，该节点会发现指令的key值的槽位并不归自己管理，这是它会向客户端发送一个跳转指令，携带目标节点地址，客户端收到指令后会跳转对应地址并纠正本地槽位映射缓存；
3. Redis集群节点间的通信机制
节点间采用gossio协议进行通信；
维护集群元数据（集群节点信息，主从角色，节点数量，各节点共享数据等）有两种方式：集中式和gossio；
集中式：优点在于元数据更新和读取时效性好，元数据改变会立即更新到集中式的存储中，缺点是元数据更新集中在一个地方；
gossio：
点对点慢慢通知，及时性差；
4. 集群选主的过程
- slave发现自己的master变为FAIL
- 将自己记录的集群currentEpoc 并广播FAILOVER AUTH REQUEST 信息
- 其他节点收到该信息，判断请求者的合法性，并发送FAILOVER AUTH ACK，对每一个epoch只发送一次ack
- 尝试failover的slave收集master返回的FAILOVER AUTH ACK
- slave收到超过半数master的ack后变成新Master(这里解释了集群为什么至少需要三个主节点，如果只有两个，当其中一个挂了，只剩一个主节点是不能选举成功的)
- slave广播Pong消息通知其他集群节点。
延时发送拉票请求计算公式：
DELAY=500ms+random(0-500ms)+ SLAVE RANK*1000ms
'SLAVE RANK表示此slave已经从master复制数据的总量的rank，Rank越小代表已复制的数据越新，这种方式下，持有最新数据的slave将会首先发起选举(埋论上)。
5. 集群脑裂问题
redis集群没有过半机制会有脑裂问题，网络分区导致脑裂后多个主节点对外提供写服务，一旦网络分区恢复，会将其中一个主节点变为从节点，这时会有大量数据丢失。
规避方法可以在redis配否里加上参数(这种方法不可能百分百避免数据丢失，参考集群leader选举机制):
min-slaves-to-write1 //写数据成功最少同步的slave数量，这个数量可以模仿大于半数机制配置，比如集群总共三个节点可以配置1，加上leader就是2，超过了半数注意:这个配置在一定程度上会影响集群的可用性，比如slave要是少于1个，这个集群就算leader正常也不能提供服务了，需要具体场是权衡选择。
6. 集群扩容
- 节点加入集群（加入后节点默认都是master节点）
- 槽位重新分配（连接任何机器 发起槽位分配，指定分配数量 ，指定分配到的机器，被分配的节点），数据也会跟着迁移；
- 加入副本节点，将副本节点指定为之前加入成为master节点的副本节点；