首页 > 代码库 > Redis数据存储解决方案

Redis数据存储解决方案

1、背景
1.1 Redis简介

官方网站:http://redis.io/,Redis是REmote DIctionary Server的缩写。

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。它跟 memcached 类似,不过数据可以持久化,而且支持的数据类型很丰富。它在保持键值数据库简单快捷特点的同时,又吸收了部分关系数据库的优点。从而使它的位置处于关系数据库和键值数据库之间。Redis不仅能保存Strings类型的数据,还能保存Lists类型(有序)和Sets类型(无序)的数据,而且还能完成排序(SORT)等高级功能,在实现INCR,SETNX等功能的时候,保证了其操作的原子性,除此以外,还支持主从复制等功能。Redis可以被看成是一个数据结构服务器。

Redis的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”);也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。
1.2 瓶颈

当前卡布西游项目,数据存储采用MySQL,主游戏库共分为20个库,分布在5台机器上,每个库数据量约为10G,各机器均采用RAID5加速磁盘访问;当同时在线人数达到5W时,DB磁盘IO压力很大,导致游戏卡,在线人数再上不去了。而Redis数据读写都是直接操作内存,可有效解决这一瓶颈。
1.3 解决方案概述

将部分数据压缩导入到redis后,总数据量约15G(转换成redis数据类型数据量),一主一从模型,共两组。一台机器内存32G,开20个实例,共40个实例;预估每个实例最多存储2G数据(现在没这么多)。多实例方便做持久化。

主库不做AOF,也不做快照,只在每晚12点计划任务做一次快照并转移到异地。从库开启AOF并1秒落地。

主库每5分钟插入一个时间点(crontab实现),方便从库AOF记录时间点,用于定点还原。
2、安装配置
2.1 硬件配置

Dell R410 32G内存;两个CPU,每个CPU 4个核心;300G硬盘
2.2 安装

a)安装TCMalloc库

Source Code

wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz
tar zxf libunwind-0.99-alpha.tar.gz
cd libunwind-0.99-alpha/
CFLAGS=-fPIC ./configure
make CFLAGS=-fPIC
make CFLAGS=-fPIC install

b)安装google-perftools:

Source Code

wget http://google-perftools.googlecode.com/files/google-perftools-1.8.2.tar.gz

tar zxf google-perftools-1.7.tar.gz

cd google-perftools-1.7/

./configure

make

make install

echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf

/sbin/ldconfig

c)安装redis

Source Code

wget http://redis.googlecode.com/files/redis-2.2.14.tar.gz

tar xzvf redis-2.2.14.tar.gz

cd redis-2.2.14

make USE_TCMALLOC=yes

//make之后会在 src目录下产生redis-server redis-cli redis-benchmark redis-check-dump

将其拷贝到/usr/local/redis/bin目录下,将配置文件redis.conf拷贝到/usr/local/redis/etc目录

//统一建立目录,方便管理

mkdir -p /usr/local/redis/bin

mkdir -p /usr/local/redis/etc

mkdir -p /usr/local/redis/var

mkdir -p /data/redis-data

# mkdir -p /data/redis-data/redis60{01,02,03,04,05,06,07,08,09,10}

检查tcmalloc是否生效

# lsof -n | grep tcmalloc

出现以下信息说明生效

redis-ser 13768 root mem REG 8,5 1616491 788696 /usr/local/lib/libtcmalloc.so.0.1.0

//装完后,可能libtcmalloc没有注册,没有上面信息,在mysqld_safe文件里加一条:

export LD_PRELOAD=/usr/local/lib/libtcmalloc.so``

//再重启mysql(线上操作谨慎!!!)(使用tmalloc,内存分配效率更高)
2.3 配置

//当前规划一共开40个实例,每台机器20个实例,下面以实例01为例:

//配置文件名: redis6001.conf ~ redis6040.conf

Source Code

daemonize yes

pidfile /var/run/redis6001.pid

port 6001

timeout 300

loglevel debug

logfile /usr/local/redis/var/debug6001.log

syslog-enabled yes

databases 16

rdbcompression yes

dbfilename redis6001.rdb

dir /data/redis-data/redis6001

slave-serve-stale-data yes

requirepass My#redis

appendonly no

no-appendfsync-on-rewrite no

vm-enabled no

hash-max-zipmap-entries 512

hash-max-zipmap-value 64

list-max-ziplist-entries 512

list-max-ziplist-value 64

set-max-intset-entries 512

activerehashing yes
3、主从同步备份及相关脚本
3.1 主从同步目的目标

主从的主要目的:数据持久化,灾难恢复,冗余。主库不落地,减少消耗。
3.2 主从配置

从库安装配置同主库一致,主库无需任何改动(允许从库访问),从库需增加两个地方配置:slaveof + AOF

slaveof 192.168.3.180 6301

masterauth My#redis

appendonly yes

appendfilename appendonly01.aof

appendfsync everysec

//配置文件名: slave6001.conf ~ slave6040.conf

Source Code

daemonize yes

pidfile /var/run/slave6001.pid

port 6001

timeout 300

loglevel debug

logfile /usr/local/redis/var/debug6001.log

syslog-enabled yes

databases 16

rdbcompression yes

dbfilename slave6001.rdb

dir /data/redis-data/slave6001

slaveof 192.168.0.139 6001

masterauth My#redis

slave-serve-stale-data yes

requirepass My#redis

appendonly yes

appendfilename slave6001.aof

appendfsync everysec

no-appendfsync-on-rewrite no

vm-enabled no

vm-swap-file /tmp/redis.swap

vm-max-memory 0

vm-page-size 32

vm-pages 134217728

vm-max-threads 4

hash-max-zipmap-entries 512

hash-max-zipmap-value 64

list-max-ziplist-entries 512

list-max-ziplist-value 64

set-max-intset-entries 512

activerehashing yes
3.3 备份

备份策略:主库每晚12点串行给每个实例做一次快照(bgsave);从库每晚12点串行对AOF文件打包备份(tar),打包备份后做一次AOF文件压缩(bgrewriteaof)。每天的数据起始点是前一天晚上rewriteaof后的数据。

主库每晚12点串行给每个实例做一次快照(bgsave)。主库备份脚本(redis_bgsave.sh)

#!/bin/bash

#date=`date +%y%m%d_%H%M%S`

REDISPASSWORD=My#redis

 for PORT in `seq 6001 6020`

do

/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgsave

sleep 10

done

date >> /usr/local/redis/var/bgsave.log

从库每晚12点串行拷贝每个实例的AOF到其他目录并对其打包,压缩包要有异地备份,之后再压缩AOF(bgrewriteaof)。

从库备份AOF并bgrewriteaof脚本(redis_backup.sh :对单个实例)

#!/bin/sh

## FD:File Dir

## RD:Runing Dir

## 第一个参数为redis实例名

if [ $# -ne 1 ]; then

echo “Usage:$0  redis_name”

exit

fi

CURDATE=`date +%Y%m%d`

CURHOUR=`date +%Y%m%d_%H`

CURTIME=`date +%Y%m%d_%H%M%S`

REDISPASSWORD=My#redis

REDISNAME=$1

PORT=`echo $REDISNAME | cut -c6-9`

LOGFILE=/data/logs/redisbak/redis_allbak_${CURDATE}.log

if [ "${REDISNAME}" = "" ]; then

echo “redis name Error!”

exit 1

else

if [ ! -d "/data/redis-data/${REDISNAME}" ]; then

echo “redis name Error!”

exit 1

fi

fi

DDIR=/data/backup/redis/$CURHOUR

mkdir -p ${DDIR}

RDIR=/data/redis-data/$REDISNAME

cd ${RDIR}

tar -zcf $DDIR/${REDISNAME}_${CURTIME}.tar.gz $REDISNAME.aof

if [ $? != 0 ]; then

echo “tar error $REDISNAME.aof” >> $LOGFILE

#exit 1

fi

sleep 5

/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgrewriteaof

sleep 5

###  delete old backup data dir  ###

#/bin/rm -rf `date -d -7day +”%Y%m%d”`

find /data/backup/redis/ -mtime +7 | xargs rm -rf

echo “Backup $REDISNAME ok at $CURTIME !” >> $LOGFILE

从库对所有实例备份(/data/sh/redis_allbak.sh)

#!/bin/sh

CURDATE=`date +%Y%m%d`

LOGFILE=/data/logs/redisbak/redis_allbak_${CURDATE}.log

for PORT in `seq 6001 6020`

do

/data/sh/redis_backup.sh slave${PORT} && echo “slave${PORT} ok `date +%Y%m%d_%H%M%S`” >> $LOGFILE 2>&1 || echo “slave${PORT} backup error” >> $LOGFILE 2>&1

done
4、操作注意事项

    若主库挂了,不能直接开启主库程序。若直接开启主库程序将会冲掉从库的AOF文件,这样将导致只能恢复到前一天晚上12的备份。

    程序在跑时,不能重启网络(程序是通过网络接口的端口进行读写的)。网络中断将导致中断期间数据丢失。

    确定配置文件全部正确才启动(尤其不能有数据文件名相同),否则会冲掉原来的文件,可能造成无法恢复的损失。

5、灾难恢复
5.1 主库故障,快速恢复到最近状态

描述:主库挂了(redis程序挂了/机器宕机了),从库正常,恢复到主库挂掉的时间点:去从库手动做一次快照,拷贝快照到主库相应目录,启动,OK。

在从库做一次快照,转移快照文件到其他目录,将快照文件目录拷贝到主库相应目录,启动主库,OK!

( /data/sh/redis_bgsave_cp.sh )

#!/bin/bash

REDISPASSWORD=My#redis

for PORT in `seq 6001 6020`

do

/usr/local/redis/bin/redis-cli -h 127.0.0.1 -p $PORT -a $REDISPASSWORD bgsave

sleep 5

done

sleep 15

for PORT in `seq 6001 6020`

do

SDIR=/data/redis-data/slave${PORT}/

DDIR=/data/redis_recovery/redis-data/

mkdir -p $DDIR/redis${PORT}/

cd $SDIR

cp -rf slave${PORT}.rdb $DDIR/redis${PORT}/redis${PORT}.rdb

#sleep 1

done

在主库将原来数据目录重命名。

从从库拷贝快照文件到主库。

启动主库。
5.2 恢复到当天12点状态

注意备份数据(当前状态AOF+正常退出快照)!

停止redis。

解压AOF(/data/sh/redis_untar.sh)

#!/bin/bash

DAY=20111102

SDIR=/data/backup/redis/20111102_00/

cd $SDIR

for PORT in `seq 6001 6020`

do

tar -zxf slave${PORT}$DAY*.tar.gz

sleep 2

done

切割AOF(/data/sh/redis_sed.sh)

#!/bin/bash

DDIR=/data/redis_recovery/

TAG=”TAG111101_1200″

for PORT in `seq 6001 6020`

do

SDIR=/data/backup/redis/20111102_00/

SAOF=${SDIR}/slave${PORT}.aof

line=`sed -n “/$TAG/=” $SAOF`

num=$[$line + 3]

mkdir -p ${DDIR}/slave${PORT}/

sed “${num},\$d” $SAOF > ${DDIR}/slave${PORT}/slave${PORT}.aof

done

将原来数据目录重命名。

将切割出来的AOF目录重命名为配置文件的数据目录。(注释主从同步配置项)。

启动从库。

做快照,拷贝到主库,启动主库(同5.1)。
5.3 恢复到两天或几天前12点状态

从库每晚备份要备份AOF未bgrewriteaof之前的数据,可根据当天晚上12点备份,没有bfrewriteaof之前的AOF文件来进行恢复,方法同5.2。
6、监控
6.1 Nagios监控

# /usr/local/redis/bin/redis-cli -h 127.0.0.1 -p 6301 -a My#redis info

used_memory_human:1.49G

master_link_status:down                          up/down

db0:keys=2079581,expires=0

//监控进程数(每台机器redis实例数)

define service{

use                         local-service

host_name                   119.147.163.xxx

servicegroups                 procs

service_description             redis_20

check_command                   check_nrpe!check_procs\!20:20\!20:25\!redis-server

}

//监控主从同步状态(获取从库master_link_status与keys的值)

//status=down直接严重警告,keys相差10警告,keys相差100严重警告

define service{

use                       local-service

#        hostgroup_name           kabuxiyou

host_name               119.147.161.xxx

servicegroups                              redis

service_description             redis_239

check_command          check_nrpe!check_redis_slave\!192.168.0.139\!6379\!127.0.0.1\!6380

}

//监控实例内存使用大小,1.8G警告,2G严重警告

define service{

use                                 local-service

#        hostgroup_name         kabuxiyou

host_name               119.147.161.xxx

servicegroups                              redis

service_description                   redis_mem_22

check_command                        check_nrpe!check_redis_mem\!127.0.0.1\!6381

}
7、资料
7.1 参考资料

//Redis入门手册(zh_v1.0).pdf

http://www.infoq.com/cn/articles/tq-why-choose-redis

// 为什么使用 Redis及其产品定位

http://www.infoq.com/cn/articles/tq-redis-memory-usage-optimization-storage

// Redis内存使用优化与存储

http://www.infoq.com/cn/articles/tq-redis-copy-build-scalable-cluster

// Redis复制与可扩展集群搭建

http://blog.prosight.me/index.php/2011/08/802

// Redis中7种集合类型应用场景
7.2 版本

最新稳定版:

wget http://redis.googlecode.com/files/redis-2.2.14.tar.gz // 2011.10.1

wget http://redis.googlecode.com/files/redis-2.4.2.tar.gz // 2011.11.15

wget http://redis.googlecode.com/files/redis-2.4.10.tar.gz // 2012.04.16
8、卡布西游Redis分布
8.1 服务器分布

服务器分布: 实例名: 端口:

… … …
8.2 mysql转redis规则

1.Key命名规则

Key采用字母+数字的形式 避免多个应用使用同一个key的时候互相覆盖,主项目中的key采用GJ#[UID] 例:GJ12345678

2.字段命名规则

主项目中的key内包含多个字段 代表多个应用 目前给每个应用预留的字段取值范围为100(实际使用中字段不应该超过10个左右不然使用哈希的意义不大了)。

当前的预留字段划分:

100~199为成就相关(当前使用150、151 对应MySQL的achieve_user表的history与current字段)

200~299为妖怪相关(当前使用200 对应MySQL的spirit_store表 实际应用时应该会再多2个字段 对应MySQL的spiritmaster与spirit表)

3.实例划分规则

预计将划分40个实例 玩家数据根据玩家的UID取模来分配到不同的实例中(是否再分库未确定)

4.其他使用Redis划分规则

目前庄园也有部分数据使用redis 不过数据是放在一个单独的redis实例中(119.147.164.24)

根据应用不同使用不同的库和key值 Key命名规则为[应用名]-[UID] 例: GrowTimes-12345678 / StolenList-12345678
9、相关测试数据

//测试数据跟存储的数据以及机器硬件配置等有关,具体环境可能不太一样,仅做参考。
9.1 启动关闭

启动:1.6G AOF文件,132M RDB,启动时间107s,产生debug.log 128M,使用内存1.71G。

2G数据,启动约2分钟,主从同步约2分钟(内网)。

关闭:shutdown时间很短,一般1~2s,shutdown之前必须做save,save时间跟数据量有关,一般几秒。
9.2 数据量大小

简单set(set a 1),3万条约1M AOF,300K RDB;12万条约4M AOF,1M RDB。

set一条记录,AOF会记录些什么:

    redis> set yuwei wangjiancheng

*3

$3

set

$5

yuwei

$3

wangjiancheng  

9.3 备份打包

纯文本AOF:

tar -zcf *.tar.gz *              1.9G / 20s / 16M /

tar -jcf *.tar.bz2 *             1.9G / 150s / 5.3M /

当前线上使用redis,数据导入是二进制流格式(AOF文件为数据文件,非文本文件),而且导入前已经过一次压缩,所以压缩比例很低。
9.4 其他测试

实例配置文件中的数据目录不存在,实例无法启动。

AOF边写边打包(tar),不会造成数据损坏,tar只是读文件。

Redis运行过程中删除数据目录,不能bgsave,不能写AOF,从库能同步;从建目录也不能bgsave,不能写AOF。

Bgsave是放后台去执行的,所以bgsave;shutdown连写在一起会出问题,bgsave还未执行完就已经shutdown了。改用save。

主库实例重启后,从库会重新”全同步”一次,保存数据与主库一致。

网络闪断不会造成主从数据丢失,网络恢复后可以续传。

A实例快照文件,放B实例数据目录启动(文件名改成B实例数据文件),OK!

执行rewriteaof/ bgrewriteaof后,reidis根据内存数据,重新建立AOF,AOF重新排列顺序。
10、客户端连接redis
10.1 PHP

安装phpredis:

phpredis软件包地址(试了N个版本 只有这1个能在我们的定制系统环境装上 蛋疼)

http://ftp.nluug.nl/pub/NetBSD/packages/distfiles/php-redis/nicolasff-phpredis-2.1.3-0-g43bc590.tar.gz

cd /dist/src

tar xzf ../dist/nicolasff-phpredis-2.1.3-0-g43bc590.tar.gz

cd nicolasff-phpredis-43bc590

/usr/local/php/bin/phpize

## 如果PHP是安装的RPM包,需要安装php-devel

./configure –with-php-config=/usr/local/php/bin/php-config

make && make install

配置php.ini

vi /usr/local/php/lib/php.ini 加入: extension = “redis.so”

重启 fastcgi 生效 /root/fastcgi_restart # php -m //查看是否有redis,检查是否安装成功。

Redis扩展测试

测试代码:

< ?php$redis = new Redis();$redis - >connect(’127.0.0.1′,6379);$redis->set(‘test’,‘hello world!’);echo $redis->get(‘test’);

?>

返回 hello world !表示成功

## 密码

$redis->auth(‘My#redis’);

## Error:

configure: error: invalid value of canonical build

## ./configure

./configure –with-php-config=/usr/local/php/bin/php-config

10.2 C++

antirez-hiredis-3cc6a7f.tar.gz                   340 KB

这个是官方的库,里面有个例子

跑这个,带参数 ./hiredis-test

例子应该是test.c