redis-cluster研究和使用

• redis

rediscluster分布式存储

最近研搭建redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,

一:关于redis cluster

1:redis cluster的现状

reids-cluster计划在redis3.0中推出，

目前的最新版本见: http://www.redis.cn/

目前redis支持的cluster特性(已测试):

1):节点自动发现

2):slave->master 选举,集群容错

3):Hot resharding:在线分片

4):集群管理:cluster xxx

5):基于配置(nodes-port.conf)的集群管理

6):ASK 转向/MOVED 转向机制.

2:redis cluster 架构

1)redis-cluster架构图

架构细节:

(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

(2)节点的fail是通过集群中超过半数的master节点检测失效时才生效.

(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可

(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->key

2) redis-cluster选举:容错

(1)领着选举过程是集群中所有master参与,如果半数以上master节点与故障节点通信超过(cluster-node-timeout),认为该节点故障，自动触发故障转移操作.

(2):什么时候整个集群不可用(cluster_state:fail)? 

    a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.2.1.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.

    b:如果集群超过半数以上master挂掉，无论是否有slave集群进入fail状态.

  ps:当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误

内存中对象是否可以设置失效时间

一般String使用setex()命令进行插入有时效的value；

频繁添加、修改、删除对象对Redis性能是否有影响（）

作为NOSQL的代表，redis性能还是很不错的，

读写同时处理10000次/秒不在话下，测试20万条写仅用了0.8秒；

针对同一对象并发修改是否有限制

有限制，redis地层时单线程操作，所以用的时候尽量对这种操作进行加锁处理。

redis 主从复制，把主的数据删掉，从的怎么办

从的数据也会被删掉，

当主节点fail时，数据持久化在哪

Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用（PS：持久化在rdb、aof）

。Redis借助了fork命令的copy on write机制。在生成快照时，将当前进程fork出一个子进程，然后在子进程中循环所有的数据，

将数据写成为RDB文件。  AOF日志的全称是append only file，从名字上我们就能看出来，它是一个追加写入的日志文件。与一般数据库的binlog不同的是，

AOF文件是可识别的纯文本，它的内容就是一个个 的Redis标准命令。当然，并不是发送发Redis的所有命令都要记录到AOF日志里面，

只有那些会导致数据发生修改的命令才会追加到AOF文件。那么每一条修改数据的命令都生成一条日志。

redis数据库中的所有数据都储存在内存中，为防止程序退出后内存中的数据丢失，redis提供了对持久化的支持，就是把内存中的数据异步写入到硬盘中，同时不影响继续提供服务

（也有数据丢失情况，即在刚写入到内存的数据，还没来的及持久化到硬盘，就fail，）

不适合储存不允许丢失的数据

基本上也就是数据已经存到内存还没有进行持久化。这个持久化需要一定的策略的，比如说100分钟持久化一次，或者200分钟

这个是持久化设置在redis.conf进行设置

save 900 1
# 900秒有一个key变化，就做一次保存
save 300 10
# 300秒有十个key变化，就做一次保存
save 60 10000
# 60秒有10000个key变化，就做一次保存

Redis使用的是单线程模型，保证了数据按顺序提交

复制

Redis集群的每个节点都有两种角色可选：主节点（master node）和从节点（slave node），其中主节点用于存储数据，而从节点则是某个主节点的复制品；

当用户需要处理更多的请求时，添加从节点可以扩展系统的读性能。因为Redis集群重用了单机Redis复制特性，所以集群的复制行为和单机复制行为是完全一样的；

下图展示了为每个主节点各添加一个从节点：

节点故障检测和自动故障转移

Redis集群的主节点内置了类似Redis Sentinel的节点故障检测和自动故障转移功能，当集群中的某个主节点下线时，集群中的其他在线主节点会注意到这一点，并对已下线的主节点进行故障转移；

集群进行故障转移的方法和Redis Sentinel进行故障转移的方法基本一样，不同的是，在集群里面，故障转移是由集群中其他在线的主节点负责进行的，所以集群不必另外使用Redis Sentinel。

举个栗子：当7000下线时，7001和7002会觉察到这一点，并对7000进行故障转移。

redis-cluster特点