首页 > 代码库 > Server Data Synchronization Via Linux rsync、rsync+inotify Between Load Balance Server
Server Data Synchronization Via Linux rsync、rsync+inotify Between Load Balance Server
目录
1. 远程文件同步的应用场景2. rsync+crontab3. rsync+inotify
1. 远程文件同步的应用场景
在负载均衡集群的应用场景中,往往在多台web server的前端有一个提供负载均衡的Load Balance Server
1. 客户端的通过访问一个统一的域名到这个Load Balance上,例如:www.test.com,Load Balance Server会根据负载调度算法将请求合理地分配到集群的子节点中2. 客户端上传的文件同样也会被Load Balance Server"随机"的分配到集群中的一台节点服务器中
这就造成了一个问题,如何来保证集群各个子节点服务器的状态、数据一致性,即我们保证客户端能够像对待单点那样去上传、并下载文件,这就需要在集群的各个子节点之间进行双向的数据同步
2. rsync+crontab
rsync(remote sync)是类unix系统下的数据镜像备份工具。一款快速增量备份工具 Remote Sync,远程同步 支持本地复制,或者与其他SSH、rsync主机同步
0x1: rsync特点
1. 可以镜像保存整个目录树和文件系统 2. 可以很容易做到保持原来文件的权限、时间、软硬链接 3. 无须特殊权限即可安装 4. 快速 1) 第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件,即增量备份 2) rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽 5. 安全 1) 可以使用scp、ssh等方式来传输文件 2) 可以通过直接的socket连接 6. 支持匿名传输,以方便进行网站镜象
了解了rsync的基本概念之后,我们来学习一下如何配置rsync服务,从本质上来说,rsync是P2P架构的服务体系,所以我们如果要在多台服务器之间进行双向备份,则每一台服务器即是server,又是clinet
0x2: rsync服务安装配置
1. 部署rsync服务端
1. 安装超级守护进程yum –y install xinetd2. 为rsync服务提供配置文件vim /etc/rsyncd.conf #Global Settings uid = nobodygid = nobodyuse chroot = nomax connections = 5timeout = 600pid file = /var/run/rsyncd.pidlockfile = /var/run/rsyncd.locklog file = /var/log/rsyncd.log #module[zhenghan]path = /opt/backup/ignore errors = yesread only = nowrite only = nohosts allow = *hosts deny = *list = yesuid = rootgid = rootauth users = zhenghansecrets file = /etc/zhenghan.passwd3. 配置rsync认证文件(如果不需要密码则不需要配置)vim /etc/zhenghan.passwdecho "zhenghan:zhenghan" > /etc/zhenghan.passwd cat /etc/zhenghan.passwdzhenghan:zhenghan4. 修改/etc/chandao.passwd的权限为600chmod 600 /etc/zhenghan.passwd 5. 配置服务启动chkconfig rsync onservice xinetd start6. 检查873端口是否成功监听ss -antlp | grep 8737. 检查rsync运行状态chkconfig --list
2. 部署rsync客户端
1. 设置rsync客户端的密码文件 1) 密码文件 echo zhenghan > /etc/zhenghan.passwd 2) 数据库的密码文件 echo zhenghan > /etc/db_zhenghan.passwd2. 修改密码文件的的权限为600chmod 600 /etc/zhenghan.passwdchmod 600 /etc/db_zhenghan.passwd 3. 测试rsync客户端是否可以从rsync服务器拉成功rsync -vzrtopg --password-file=/etc/zhenghan.passwd zhenghan@192.168.200.16::zhenghan/* /tmp4. rsync同步脚本#!/bin/bash#func:rsync for zhenghan #Version:v1.0 ntpdate 192.168.200.16 > /dev/null 2>&1date=`date +%Y-%m-%d`dest_chandao=/opt/backup/zhenghan/testdest_db=/opt/backup/zhenghan/db_zhenghanremote_zhenghan=192.168.200.16remote_db=192.168.200.18module_zhenghan=zhenghanmodule_db=db_zhenghanuser1=zhenghan@139.com main(){ rsync -vzrtopg --password-file=/etc/zhenghan.passwd zhenghan@$remote_zhenghan::$module_zhenghan/*$date* $dest_zhenghan if [ $? -eq 0 ];then echo "zhenghan-*$date* was rsynced" >> /opt/log/zhenghan_rsync.log 2>&1; else echo "zhenghan-*$date* was not rsynced" >> /opt/log/zhenghan_rsync.log 2>&1; echo "zhenghan rsync was faild " | mail -s "zhenghan backup" $user2; fi rsync -vzrtopg --password-file=/etc/db_zhenghan.passwd zhenghan@$remote_db::$module_db/*$date* $dest_db if [ $? -eq 0 ];then echo "db_zhenghan_*$date* was rsynced" >> /opt/log/zhenghan_rsync.log 2>&1; else echo "db_zhenghan_*$date* was not rsynced" >> /opt/log/zhenghan_rsync.log 2>&1; echo "db_zhenghan rsync was faild " | mail -s "zhenghan backup" $user2; fi}main
3. 定时任务
rsync是一个P2P的架构,server和client之间可以双向地进行数据同步,服务端和客户端配置好之后,通常的做法是使用crontab定时任务在client和server之间进行数据同步互传
crontab -e##rsync for zhenghan20 09 * * * /bin/sh /opt/scripts/rs_zhenghan.sh
Relevant Link:
http://baike.baidu.com/link?url=EDZps6hVI-m9hmOcS5bbX9ARL2PmJ1V6ugHWeCDJp7Yz_40MnTLl0wrIMmpQOobqpL6OHfVTYZMwgJF8xE_I3ahttp://nmshuishui.blog.51cto.com/1850554/1532927
3. rsync+inotify
0x1: rsync+inotify的优点
1. 在数据量非常大的情况下,传统的任务计划,rsync都会先去遍历目标目录,把所有数据做一次特征码比对,然后进行差量传输,这个过程会是很漫长的,对于那些要求实时性更新比较高的企业来说,无疑是一场噩梦 2. Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、***,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件 3. 服务器性能 1) rsync+crontab会定时去检查是否有文件更新,这势必会造成服务器性能下降 2) rsync+inotify组合是触发式更新,只有在数据文件有变化时,才会去更新,因此相对前者而言,是提高了服务器性能4. 数据实时性 1) rsync+crontab是周期性任务计划,不能保证数据的实时性 2) rsync+inotify组合是触发式更新,只要有数据变化,就立刻同步更新
0x2: rsync+inotify安装配置
rsync+inotify和rsync+crontab最大的差别在于同步的触发条件,即同步命令的发起条件不同,rsync+inotify是通过linux的inotify机制去实时地触发双向文件同步
Relevant Link:
http://nmshuishui.blog.51cto.com/1850554/1387048
Copyright (c) 2014 LittleHann All rights reserved
Server Data Synchronization Via Linux rsync、rsync+inotify Between Load Balance Server