博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
利用inotify+rsync实现linux文件批量更新
阅读量:5870 次
发布时间:2019-06-19

本文共 6199 字,大约阅读时间需要 20 分钟。

   批量同步、批量更新,这应该是做运维的朋友们经常做的工作,rsync是linux下一款非常强大的同步工具,采用差异同步的方法,只上传文件/文件夹的不同部分,同时可以对上传部分先进行压缩,所以rsync的传输效率是很高的但rsync也有缺点,最大的问题就是每次执行rsync命令都会遍历目标目录,当文件不多时,这没什么问题,一旦文件数到了一定规模,那么每次遍历都会消耗很多资源,如果只对经常改动的目录进行同步,也可以忽略这个问题,如果每次改动的目录多较大,那么就要用到inotify了,Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制,Linux内核从2.6.13起,加入了对Inotify的支持,通过Inotify可以监控文件系统中的添加、删除、修改、移动等各种事件,但inotify只提供了C语言接口,不方便调用,所以我们需要先安装inotify-tools

一、系统环境:

CentOS_5.7-x86_64
更新源服务器:192.168.9.227
目的服务器:192.168.9.226  192.168.9.228  ... ...

二、目的服务器配置:192.168.9.226 192.168.9.228(rsync服务端):

1、检查rsync是否安装

 
  1. rpm -qa|grep rsync 

如果没有发装,执以下命令进行安装

 
  1. yum -y install rsync 

2、定义rsync配置文件/etc/rsyncd.conf

192.168.9.226:

 
  1. cat >> /etc/rsyncd.conf << EOF 
  2. uid = nobody   
  3. gid = nobody   
  4. use chroot = no 
  5. max connections = 100   
  6. timeout = 600   
  7. pid file = /var/run/rsyncd.pid    
  8. lock file = /var/run/rsyncd.lock    
  9. log file = /var/log/rsyncd.log    
  10. [web1]   
  11. path = /data/www1/    
  12. ignore errors    
  13. read only = no   
  14. list = no   
  15. hosts allow = 192.168.9.0/255.255.255.0    
  16. auth users = www1   
  17. secrets file = /etc/www1.pwd   
  18. EOF 

192.168.9.228:

 
  1. cat >> /etc/rsyncd.conf << EOF 
  2. uid = nobody   
  3. gid = nobody   
  4. use chroot = no 
  5. max connections = 100   
  6. timeout = 600   
  7. pid file = /var/run/rsyncd.pid    
  8. lock file = /var/run/rsyncd.lock    
  9. log file = /var/log/rsyncd.log    
  10. [web2]   
  11. path = /data/www2/    
  12. ignore errors    
  13. read only = no   
  14. list = no   
  15. hosts allow = 192.168.9.0/255.255.255.0    
  16. auth users = www2   
  17. secrets file = /etc/www2.pwd   
  18. EOF 

3、rsyncd.conf配置文件详解

uid = nobody      //运行RSYNC守护进程的用户
gid = nobody      //运行RSYNC守护进程的组
use chroot = 0    //不使用chroot
max connections = 0   // 最大连接数,0为不限制
port = 873  //默认端口873

下面这些文件是安装完RSYNC服务后自动生成的文件

pid file = /var/run/rsyncd.pid    //pid文件的存放位置
lock file = /var/run/rsync.lock   //锁文件的存放位置.指定支持max connections参数的锁文件,默认值是/var/run/rsyncd.lock.
log file = /var/log/rsyncd.log    //日志记录文件的存放位置

Timeout = 300

通过该选项可以覆盖客户指定的IP超时时间.通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端.超时单位为秒钟,0表示没有超时定义,这也是默认值.对于匿名rsync服务器来说,一个理想的数字是600.

Log format = %t %a %m %f %b

通过该选项用户在使用transfer logging可以自己定制日志文件的字段.其格式是一个包含格式定义符的字符串,可以使用的格式定义符如下所示:
%h 远程主机名
%a 远程IP地址
%l 文件长度字符数
%p 该次rsync会话的进程id
%o 操作类型:" send" 或" recv"
%f 文件名
%P 模块路径
%m 模块名
%t 当前时间
%u 认证的用户名(匿名时是null)
%b 实际传输的字节数
%c 当发送文件时,该字段记录该文件的校验码
默认log格式为:" %o %h [%a] %m (%u) %f %l" ,一般来说,在每行的头上会添加" %t [%p] " .在源代码中同时发布有一个叫rsyncstats的perl脚本程序来统计这种格式的日志文件.

#transfer logging = yes

使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中.

syslog facility = local3 

指定rsync发送日志消息给syslog时的消息级别,常见的消息级别是:uth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, sys-log, user, uucp, local0, local1, local2, local3,local4, local5, local6和local7.默认值是daemon.

模块参数

[web1]   //这里是认证的模块名,在client端需要指定
path = /data/www1/  //需要做镜像的目录,不可缺少!
comment = backup web  //这个模块的注释信息
ignore errors    //可以忽略一些无关的IO错误
read only = yes  //该选项设定是否允许客户上载文件.如果为true那么任何上载请求都会失败,如果为false并且服务器目录读写权限允许那么上载是允许的.默认值为true.
list = no        //不允许列文件
auth users = bak    //认证的用户名,如果没有这行则表明是匿名,此用户与系统无关
该选项指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块.这里的用户和系统用户没有任何关系.如果" auth users" 被设置,那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议.用户的名和密码以明文方式存放在" secrets file" 选项指定的文件中.默认情况下无需密码就可以连接模块(也就是匿名方式).

secrets file = /etc/www1.pwd      //密码和用户名对比表,密码文件自己生成

该选项指定一个包含定义用户名:密码对的文件.只有在" auth users" 被定义时,该文件才有作用.文件每行包含一个username:passwd对.一般来说密码最好不要超过8个字符.没有默认的secures file名,需要限式指定一个(例如:/etc/www1.pwd).注意:该文件的权限一定要是600,否则客户端将不能连接服务器.

hosts allow = 192.168.9.0/255.255.255.0  //允许主机或网段

该选项指定哪些IP的客户允许连接该模块.客户模式定义可以是以下形式:
单个IP地址,例如:192.168.9.227
整个网段,例如:192.168.9.0/24,也可以是192.168.9.0/255.255.255.0
多个IP或网段需要用空格隔开,“*”则表示所有,默认是允许所有主机连接.

hosts deny = 0.0.0.0/0  //禁止主机

4、建立认证文件/etc/www1.pwd ,此文件须与配置文件中指定文件名保持一致

此处格式为:username:password,安全问题,并不建议实际使用中使用root用户
192.168.9.226:

 
  1. echo "www1:741852" >> /etc/www1.pwd 

192.168.9.228:

 
  1. echo "www2:951753" >> /etc/www2.pwd 

并且我们需要设置此文件的权限为600

 
  1. chmod 600 /etc/www1.pwd  
  2. chmod 600 /etc/www2.pwd  
  3. chmod 600 /etc/rsyncd.conf 

5、建立motd文件(可有可无)

rsyncd.motd记录了rsync服务的欢迎信息,你可以在其中输入任何文本信息,如:

 
  1. echo "Welcome to use the rsync services!" >> /var/rsyncd.motd 

6、启动rsync

 
  1. /usr/bin/rsync --daemon  
  2.  
  3. echo "/usr/bin/rsync --daemon" >> /etc/rc.local 

三、更新源服务器配置:192.168.9.227 (rsync客户端)

1、inotify 可以监视的文件系统事件包括:
IN_ACCESS,即文件被访问
IN_MODIFY,文件被 write
IN_ATTRIB,文件属性被修改,如 chmod、chown、touch 等
IN_CLOSE_WRITE,可写文件被 close
IN_CLOSE_NOWRITE,不可写文件被 close
IN_OPEN,文件被 open
IN_MOVED_FROM,文件被移走,如 mv
IN_MOVED_TO,文件被移来,如 mv、cp
IN_CREATE,创建新文件
IN_DELETE,文件被删除,如 rm
IN_DELETE_SELF,自删除,即一个可执行文件在执行时删除自己
IN_MOVE_SELF,自移动,即一个可执行文件在执行时移动自己
IN_UNMOUNT,宿主文件系统被 umount
IN_CLOSE,文件被关闭,等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)
IN_MOVE,文件被移动,等同于(IN_MOVED_FROM | IN_MOVED_TO)
注:上面所说的文件也包括目录。

2、安装inotify-tools

在安装inotify-tools前请先确认你的linux内核是否打到了2.6.13,并且在编译时开启了CONFIG_INOTIFY选项,也可以通过以下命令检测

 
  1. ls /proc/sys/fs/inotify 

如果有 max_queued_events,max_user_instances,max_user_watches 三项就说明支持

 
  1. wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz  
  2. tar xvf inotify-tools-3.14.tar.gz  
  3. cd inotify-tools-3.14  
  4. ./configure  
  5. make;make install 

3、编写rsync监控脚本

 

 
  1. vi /root/rsync.sh 

-m, 即--monitor,表示始终保持事件监听状态。

 
  1. #!/bin/bash
  2. host1=192.168.9.226
  3. host2=192.168.9.228
  4. src=/data/www/
  5. des1=web1
  6. des2=web2
  7. user1=www1
  8. user2=www2
  9. /usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' \
  10. -e modify,delete,create,attrib \
  11. ${src} \
  12. | while read file
  13. do
  14. rsync -vzrtopg --delete --progress ${src} ${user1}@${host1}::${des1} --password-file=/etc/www1.pwd &&
  15. rsync -vzrtopg --delete --progress ${src} ${user2}@${host2}::${des2} --password-file=/etc/www2.pwd &&
  16. echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
  17. echo "---------------------------------------------------------------------------"
  18. done

-r, 即--recursive,表示递归查询目录。
-q, 即--quiet,表示打印出监控事件。
-e, 即--event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等
--timefmt:指定时间的输出格式
--format:指定变化文件的详细信息

建立认证文件  (rsync客户端认证文件只用加入密码)

 
  1. echo "741852" >> /etc/www1.pwd  
  2. echo "951753" >> /etc/www2.pwd  
  3. chmod 600 /etc/www1.pwd  
  4. chmod 600 /etc/www2.pwd 
 
  1. /bin/sh -n /root/rsync.sh  //语法检查  
  2. chmod +x /root/rsync.sh  
  3. nohup sh /root/rsync.sh &  
  4. echo "nohup sh /root/rsync.sh &" >> /etc/rc.local 

四、同步测试

在更新源服务器上新建一个文件,运行以下的命令,看文件是否可以正常同步,看有无报错信息

 
  1. rsync -vzrtopg --delete --progress /data/www1/  --password-file=/etc/www1.pwd 

将要更新的文件提交到更新源服务器中,这样就通过inotify+rsync批量的将更新文件同步到所有的目的服务器中,相当方便快捷

本文转自king_819 51CTO博客,原文链接:http://blog.51cto.com/kerry/734087,如需转载请自行联系原作者

你可能感兴趣的文章
文件缓存
查看>>
远程协助
查看>>
Scrum实施日记 - 一切从零开始
查看>>
关于存储过程实例
查看>>
配置错误定义了重复的“system.web.extensions/scripting/scriptResourceHandler” 解决办法...
查看>>
AIX 7.1 install python
查看>>
PHP盛宴——经常使用函数集锦
查看>>
重写 Ext.form.field 扩展功能
查看>>
Linux下的搜索查找命令的详解(locate)
查看>>
福利丨所有AI安全的讲座里,这可能是最实用的一场
查看>>
开发完第一版前端性能监控系统后的总结(无代码)
查看>>
Python多版本情况下四种快速进入交互式命令行的操作技巧
查看>>
MySQL查询优化
查看>>
【Redis源码分析】如何在Redis中查找大key
查看>>
northropgrumman
查看>>
关于链接文件的探讨
查看>>
android app启动过程(转)
查看>>
Linux—源码包安装
查看>>
JDK8中ArrayList的工作原理剖析
查看>>
安装gulp及相关插件
查看>>