首页 > 代码库 > 通过rsync+inotify实现数据的实时备份

通过rsync+inotify实现数据的实时备份

             wKiom1OyhAuDcVADAABNuIyGy5A162.png

一、rsync

与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。

随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因,rsync+inotify组合出现了!

二、 初识inotifyInotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。

在上面章节中,我们讲到,rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。

三、 安装inotify工具inotify-tools 由于inotify特性需要Linux内核的支持,在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上,如果Linux内核低于2.6.13版本,就需要重新编译内核加入inotify的支持,也可以用如下方法判断,内核是否支持inotify:

[root@localhost webdata]# ll /proc/sys/fs/inotify

-rw-r--r-- 1 root root 0 04-13 19:56 max_queued_events

-rw-r--r-- 1 root root 0 04-13 19:56 max_user_instances

-rw-r--r-- 1 root root 0 04-13 19:56 max_user_watches

如果有上面三项输出,表示系统已经默认支持inotify,接着就可以开始安装inotify-tools了。

可以到http://inotify-tools.sourceforge.net/下载相应的inotify-tools版本,然后开始编译安装:

[root@localhost  ~]# tar zxvf inotify-tools-3.14.tar.gz root@localhost  ~]# cd inotify-tools-3.14

[root@localhost inotify-tools-3.14]# ./configure

[root@localhost inotify-tools-3.14]# make

[root@localhost inotify-tools-3.14]# make install

[root@localhost inotify-tools-3.14]# ll /usr/local/bin/inotifywa*

-rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait

-rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch

inotify-tools安装完成后,会生成inotifywait和inotifywatch两个指令,其中,inotifywait用于等待文件或文件集上的一个特定事件,它可以监控任何文件和目录设置,并且可以递归地监控整个目录树。

inotifywatch用于收集被监控的文件系统统计数据,包括每个inotify事件发生多少次等信息。

四、 inotify相关参数inotify定义了下列的接口参数,可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数,因此,可以根据应用需求,实时的调节其大小。下面分别做简单介绍。

    /proc/sys/fs/inotify/max_queued_evnets     

       表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值的事件被丢弃,但会

IN_Q_OVERFLOW事件。

    /proc/sys/fs/inotify/max_user_instances

        表示每一个real user ID可创建的inotify instatnces的数量上限。

       /proc/sys/fs/inotify/max_user_watches

        表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大,需要根据情况,适当增加此值的大小,例如:

echo 30000000 > /proc/sys/fs/inotify/max_user_watches

五、 inotifywait相关参数Inotifywait是一个监控等待事件,可以配合shell脚本使用它,下面介绍一下常用的一些参数:

 -m, 即--monitor,表示始终保持事件监听状态。

 -r, 即--recursive,表示递归查询目录。

 -q, 即--quiet,表示打印出监控事件。

 -e, 即--event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等。

更详细的请参看man  inotifywait。

root@web1:~$ more /etc/rsyncd.conf 

uid = nobody

gid = nobody

use chroot = no

max connections = 10

strict modes = yes

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

[web1]

path = /Data/www/

comment = web1 file

ignore errors

read only = no

write only = no

list = false

uid = root

gid = root

auth users = web1

secrets file = /etc/rsync.password

root@web2:~$ more /etc/rsyncd.conf 

uid = nobody

gid = nobody

use chroot = no

max connections = 10

strict modes = yes

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

[web2]

path = /Data/www/

comment = web2 file

ignore errors

read only = no

write only = no

list = false

uid = root

gid = root

auth users = web2

secrets file = /etc/rsync.password

web3 web4 web5 web6.....

root@server:~$ more auto_rsync.sh 

#!/bin/sh

WEB=(web1 web2 web3 web4 web5 web6)

SRC=http://www.mamicode.com/Data/www/

P_FILE=/etc/server.pass

/usr/local/bin/inotifywait -mrq --timefmt ‘%d/%m/%y %H:%M‘ --format ‘%T %w%f%e‘ -e modify,delete,create,attrib $SRC \

| while read files 

do

        for j in ${WEB[*]}

        do

                #echo `date "+%Y-%m-%d %H:%M"`

                echo

                echo $j

                echo $files

                /usr/bin/rsync -vzrtopg --delete --progress --password-file=$P_FILE $SRC $j@$j::$j

                echo

                echo

        done

done

nohup ./auto_rsync.sh 2>1 nohup.out & 启动监听


本文出自 “Crazy_Linux” 博客,请务必保留此出处http://mkernel.blog.51cto.com/8015041/1433185