首页 > 代码库 > rsync+inotify
rsync+inotify
rsync+ inotify
rsync是一个快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，保存连接和权限，且采用优化的同步算法，传输前执行压缩，因此
非常适合用于异地备份，镜像服务器等应用，rsync保证了数据的同步一致性，那我们把两台web服务器的数据保持一致，这样可以用两台web服务器做负载
均衡，所以rsync是实现LVS的重要工具的一种，需要注意的是必须在主服务器和同步服务器上都安装rsync,其中主服务器上是以服务器模式运行rsync，
而同步上则以客户端方式运行rsync。这样在主服务器上运行rsyn守护进程，在同步上用crond定时运行客户程序来同步主服务器上需要同步的内容。
rsync保证了服务器有的数据，客户端一定有，但是客户端比服务器多出的额外的数据，服务器那边是没有的
rsync命令的工作模式有四种：
1、shell模式，也称为本地模式，速度要比cp快
2、远程shell模式，其可以借助于ssh协议承载其数据传输过程
3、列表模式，其工作方式与ls相似，仅列出源的内容：-nv
4、服务器模式，此时，rsync可以工作为守护进程，能够接收客户端的数据传输请求，在使用时可以在客户端使用rsync命令发送给守护进程，也可以向服务器主获取文件。
1.安装rsync服务器
yum -y install rsync
2.建立rsync的三个配置文件，
touch /etc/rsyncd.conf(rsync的配置文件)
touch /etc/rsyncd.secrets(用户的密码文件)
chmod 600 /etc/rsyncd.secrets(权限要设置为600，否则无法备份成功)
touch /etc/rsyncd.motd(rsync服务器信息，这个不是必须创建的)
3.自己手动建立rsync的配置文件的信息
vim /etc/rsyncd.conf
########前面为#号的可以不要
uid = nobody # 备份以什么身份进行，用户ID
gid = nobody # 备份以什么身份进行，组ID
use chroot = no #禁锢在源目录
max connections = 0 #最大连接数，0代表没有限制
port = 873 #默认端口873
address = 172.16.1.10 #rsync服务器的ip地址
pid file = /var/run/rsyncd.pid #运行进程的ID写到哪里
log file = /var/log/rsyncd.log #日志记录文件
#hosts allow = 172.16.1.0/24 #允许连接服务器的主机IP地址，如果多个ip则用空格隔开
#hosts deny = 0.0.0.0/0.0.0.0 #禁止连接服务器的主机IP地址，也可为*，表示所有。
#strict modes =yes #是否检查口令文件的权限
#motd file = /etc/rsyncd.motd #欢迎消息
#lock file = /var/run/rsync.lock
[wwwroot] # 指定认证的备份模块名
path = /var/www/html # 需要备份的目录，这里备份web存放网页目录的路径，真是环境写你需要备份的路径
comment = BACKUP attachment # 注释，提示信息
ignore errors # 忽略一些无关的IO错误
read only = false # 设置为非只读，即可以传至服务器的相应目录。
auth users = backuper # 认证的用户名，如果没有这行，则表明是匿名
secrets file = /etc/rsyncd.secrets # 认证文件名，用来存放密码
#list = false # 不允许列文件
#exclude = test/ test.php #设置不同步的目录或文件用空格隔开
######配置完成保存退出
4.设置密码文件
vim /etc/rsyncd.secrets
####
backuper:pwd123 #这里的用户名对应配置文件里面的用户,配置文件里面有几个用户就建立几个用户 类容格式 用户名:密码
####编辑完成保存退出
5.可以启动rsync服务了
rsync --daemon #启动rsync服务,如果你的配置文件是/etc/rsyncd/rsyncd.conf那启动的时候就 sync --daemon --config=/etc/rsyncd/rsyncd.conf
netstat -tnlp | grep rsync #查看端口
kill $(cat /var/run/rsyncd.pid) orpkill rsync #杀死rsync的进程
6.如果是异地备份，因为数据不需要全天不断运行，只是有用户在客户机连接的时候才启用，因此可以将rsync交给超级服务xinetd管理
yum -y install xinetd
vim /etc/xinetd.d/rsync
#####
service rsync
{
disable = no
flags = IPv6
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = --daemon
log_on_failure += USERID
}
####
service xinted restart 启动xinted服务
命令的解释：
-v表示verbose(详细)
-z表示zip（压缩）
-r表示recursive（递归目录）
-topg是保持文件原有属性如o=owner(属主)、t=times(时间)、p=perms(权限)、g=group(组)的参数
-H表示保持硬连接
-l：保留软链结
-u：表示只更新源文件比目标时间新的文件
--progress是指显示出详细的进度情况
--delete是指如果服务器端删除了这一文件，那么客户端也相应把文件删除，保持真正的一致。如果客户机和服务器的文件有不同的那么
客户机的文件将被删除，所以此参数慎用
--password-file = /etc/rsyncd.secrets来指定密码文件，这里需要注意的是这份密码文件权限属性要设得只有属主可读(权限为600)，属主为正在运行此命令的用户。
如果是指定密码文件了，则就不需要输入密码，但是客户端的这个文件必须存在
vim /etc/rsyncd.secrets
###
pwd123 #只需要写用户的密码
### chmod 600 /etc/rsyncd.secrets
命令格式及常用的备份选项
Rync [选项] 原始位置 目标位置
-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关，强制对文件传输进行校验
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件，不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除-
-ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件-
-partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force 强制删除目录，即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间，单位为秒-I,
--ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽，KBytes per second
-h, --help 显示帮助信息
注意：rsync命令使用中，如果源参数的末尾有斜线，就会复制指定目录内容，而不复制目录本身;没有斜线，则会复制目录本身，因此有如下命令：
# rsync -r /mydata/data /backups/:会把目录data直接同步至/backups目录中去
# rsync -r /mydata/data/ /backups/:会把目录中的data/中的内容同步至/backups目录中
rsync本地用法：
# cd /etc /tmp/
# rsync /tmp/etc/passwd/tmp/test/passwd -nv
推送到远程主机上去，把本地的etc文件推送到172.16.251.244主机上去：
# rsync -r -e ssh /tmp/etcroot@172.16.20.1:/tmp/
拉取远程服务器上的文件：
# rsync -e ssh -r -aroot@172.16.20.1:/etc/pam.d ./ --stats
把文件推送到服务器端上去：
# rsync -auzv messages myuser@172.16.20.2::my_data_rsync
如果我们从服务器上拉取文件时必须要指定文件路径
# rsync myuser@172.16.20.2::my_data_rsync/messages/tmp/
关于以下知识，本人正握不多，还在研究阶段，有一大部分是摘录至其他博客，望见谅！
初识inotify
Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在上面章节中，我们讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。
安装inotify工具inotify-tools
由于inotify特性需要Linux内核的支持，在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上，如果Linux内核低于2.6.13版本，就需要重新编译内核加入inotify的支持，也可以用如下方法判断，内核是否支持inotify：
[root@localhost webdata]# uname -r
2.6.18-164.11.1.el5PAE
[root@localhost webdata]# ll /proc/sys/fs/inotify
总计 0
-rw-r--r-- 1 root root 0 04-13 19:56 max_queued_events
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_instances
-rw-r--r-- 1 root root 0 04-13 19:56 max_user_watches
如果有上面三项输出，表示系统已经默认支持inotify，接着就可以开始安装inotify-tools了。
可以到http://inotify-tools.sourceforge.net/下载相应的inotify-tools版本，然后开始编译安装：
[root@localhost ~]# tar zxvf inotify-tools-3.14.tar.gz
root@localhost ~]# cd inotify-tools-3.14
[root@localhost inotify-tools-3.14]# ./configure
[root@localhost inotify-tools-3.14]# make
[root@localhost inotify-tools-3.14]# make install
[root@localhost inotify-tools-3.14]# ll /usr/local/bin/inotifywa*
-rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait
-rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch
inotify-tools安装完成后，会生成inotifywait和inotifywatch两个指令，其中，inotifywait用于等待文件或文件集上的一个特定事件，它可以监控任何文件和目录设置，并且可以递归地监控整个目录树。
inotifywatch用于收集被监控的文件系统统计数据，包括每个inotify事件发生多少次等信息。
inotify相关参数
inotify定义了下列的接口参数，可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数，因此，可以根据应用需求，实时的调节其大小。下面分别做简单介绍。
/proc/sys/fs/inotify/max_queued_evnets
表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances
表示每一个realuser ID可创建的inotify instatnces的数量上限。
/proc/sys/fs/inotify/max_user_watches
表示每个inotifyinstatnces可监控的最大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小，例如：
echo 30000000 > /proc/sys/fs/inotify/max_user_watches
inotifywait相关参数
Inotifywait是一个监控等待事件，可以配合shell脚本使用它，下面介绍一下常用的一些参数：
-m， 即--monitor，表示始终保持事件监听状态。
-r， 即--recursive，表示递归查询目录。
-q， 即--quiet，表示打印出监控事件。
-e， 即--event，通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、attrib等。
更详细的请参看man inotifywait。
rsync+inotify