一、redis集群说明

集群采用一主三从，总共3主9从，总共12台，每个机房中放置一主三从

每个机房中放置其他机房的一从，达到高可用性

二、集群搭建

1.redis集群的搭建

1.1修改系统参数

1.使用root账户修改

　　/etc/security/limits.conf

　　添加

　　* soft nofile 102400

　　* hard nofile 102400

　　修改 /etc/sysctl.  

　　添加net.core.somaxconn=32767

　　sysctl -p 生效

　　2.创建redis用户

1.2 redis的安装

  1.下载并编译

　　主节点机器上创建文件

 　　mkdir -p  /home/redis/redis/bin

 　　mkdir -p  /home/redis/redis/bin

　　mkdir -p  /home/redis/redis/log

在主节点下

 在redis目录下

 wget http://download.redis.io/releases/redis-3.2.5.tar.gz

 tar xzf redis-3.2.5.tar.gz

 cd redis-3.2.5

 make

 cp src/redis-server ../redis/bin

 cp src/redis-cli ../redis/bin

 cp src/redis-trib.rb ../redis/bin

 cp redis.conf ../redis/conf

 touch /home/redis/redis/conf/cluster.conf

2.修改参数redis.conf，具体参数配置见后面附件

3.在其他机器上创建redis用户

4.发送到其他机器上去

scp -r /home/redis/redis redis@slave:/home/redis/
5.登录到各机器上，启动redis

(1)修改cluster.conf配置

配置文件结构

redis.conf---

|---cluster.conf(master)

|---cluster.conf(slave1)

|---cluster.conf(slave2)

|---cluster.conf(slave3)

修改master,slave1,slave2,slave3节点中cluster.conf配置，在cluster.conf配置首行添加参数（各节点cluster.conf参数见附件）

include /home/redis/redis/conf/redis.conf

（2）启动redis

cd /home/redis/redis/

./bin/redis-server ./conf/cluster.conf

1.3集群操作

1.集群创建

（1）添加redis server到cluster

   1） 增加主节点

./bin/redis-trib.rb create  master1，master2,master3

   2）登录redis客户端

./bin/redis-cli -c -p 6379

   3）查看master node id(类似这种：3eb099e326bc4c3d763223743d4dc90caa975cc8)

 cluster nodes

   4）添加从节点

 ./bin/redis-trib.rb add-node --salve -master-id nodeid /

 slaveip:port ip:port(ip:port为任意一加入集群中的节点ip和port)

注意：安装中可能遇到问题报：

/usr/bin/env: ruby: No such file or directory

则需要安装ruby

yum install ruby

yum install rubygems

wget https://rubygems.global.ssl.fastly.net/gems/redis-3.2.1.gem

gem install -l ./redis-3.2.1.gem

(2)验证集群搭建成功

./bin/redis-cli -c  -p 6379

cluster info

查看cluster_state:ok则为成功

2.集群的节点增加

（1）master节点增加

1）启动新增的节点

2）加入到集群中

./bin/redis-trib.rb add-node 新增节点ip:port 集群中已存在任意节点ip:prot  

3）为新节点分配slot

  ./bin/redis-trib.rb reshard

   显示如下内容：

#根据提示选择要迁移的slot数量  

How many slots do you want to move (from 1 to 16384)? 500  

#选择要接受这些slot的node-id  

What is the receiving node ID? f51e26b5d5ff74f85341f06f28f125b7254e61bf  

#选择slot来源:  

#all表示从所有的master重新分配，  

#或者数据要提取slot的master节点id,最后用done结束  

Please enter all the source node IDs.  

  Type ‘all‘ to use all the nodes as source nodes for the hash slots.  

  Type ‘done‘ once you entered all the source nodes IDs.  

Source node #1:all  

#打印被移动的slot后，输入yes开始移动slot以及对应的数据.  

#Do you want to proceed with the proposed reshard plan (yes/no)? yes  

#结束  

（2）slave节点增加

 ./bin/redis-trib.rb add-node --salve -master-id nodeid /

 slaveip:port ip:port(ip:port为任意一加入集群中的节点ip和port)

3.集群节点的重新负载

./bin/redis-trib.rb reshard 旧的masterip:port

#从该节点移动slot到其他master节点

How many slots do you want to move (from 1 to 16384)? 500

#接受slot的节点id

What is the receiving node ID? f51e26b5d5ff74f85341f06f28f125b7254e61bf

Please enter all the source node IDs.

  Type ‘all‘ to use all the nodes as source nodes for the hash slots.

  Type ‘done‘ once you entered all the source nodes IDs.

#输入all则分配给所有的master,done则为指定的master

 Source node #1:done

4.节点的删除

（1）master节点的删除

1）清空master上的slot

#把要删除的master节点slot和数据迁移到随意一台master上  

redis-trib.rb reshard 192.168.1.151:6379  

#根据提示选择要迁移的slot数量  

How many slots do you want to move (from 1 to 16384)? 500(被删除master的所有slot数量)  

#选择要接受这些slot的node-id(192.168.1.152:6379)  

What is the receiving node ID? c4a31c852f81686f6ed8bcd6d1b13accdc947fd2

Please enter all the source node IDs.  

  Type ‘all‘ to use all the nodes as source nodes for the hash slots.  

  Type ‘done‘ once you entered all the source nodes IDs.  

Source node #1:f51e26b5d5ff74f85341f06f28f125b7254e61bf(被删除master的node-id)  

Source node #2:done  

#打印被移动的slot后，输入yes开始移动slot以及对应的数据.  

#Do you want to proceed with the proposed reshard plan (yes/no)? yes  

2）删除节点

./bin/redis-trib.rb del-node 192.168.1.151:6379 \

‘f51e26b5d5ff74f85341f06f28f125b7254e61bf‘  

（2）slave节点的删除

./bin/redis-trib.rb del-node 192.168.1.151:6380 \

’5d664f56fb2e7763bfca89754271378a0ac3b657’

4.client中关于cluster的命令

5.

2.redis的运维

实时监控命令

watch -n 1 -d "/home/redis/redis/bin/redis-cli -c -p 6379 info | grep -e "connected_clients" -e "blocked_clients" -e "used_memory_human" -e "used_memory_peak_human" -e "rejected_connections" -e "evicted_keys" -e "instantaneous""

监控参数：

#连接数

connected_clients:1

#阻塞连接数

blocked_clients:0

#使用内存

used_memory_human:799.66K

#使用内存峰值

used_memory_peak_human:852.35K

#每秒执行命令个数

instantaneous_ops_per_sec:0

#每秒读字节数

instantaneous_input_kbps:0.01

#每秒写字节数

instantaneous_output_kbps:1.23

#拒绝连接数

rejected_connections:0

#因内存大小限制，被驱逐的键个数

evicted_keys:0

附件：

redis.conf配置文件

主节点cluster.conf配置文件

从节点1 cluster.conf 配置文件

从节点2 cluster.conf配置文件

从节点3  cluster.conf 配置文件

redis集群搭建