rsync+inotify实时数据的同步实例

共计 8777 个字符，预计需要花费 22 分钟才能阅读完成。

一、rsync+inotify 的组合为什么会出现？？

rsync 缺陷：

1、由于 rsync 在实施大量数据备份时，工作方式是扫描整个数据文 件，其实发生更改  的只是一小部分，导致过多的占用系统资源。

2、rsync 不能实时的去监测、同步数据，虽然它可以通过 linux 守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据  可能出现不一致，无法在应用故障时完全的恢复数据。

inotify 优点：

Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux 内核从 2.6.13 起，加入了 Inotify 支持，通过 Inotify 可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而 inotify-tools 就是这样的一个第三方软件。rsync 可以实现触发式的文件同步，但是通过 crontab 守护进程方式进行触发，同步的数据和实际数据会有差异，而 inotify 可以监控文件系统的各种变化，当文件有任何变动时，就触发 rsync 同步，这样刚好解决了同步数据的实时性问题。

利用 inotifywait 监控主机文件和目录 http://www.linuxidc.com/Linux/2013-03/81075.htm

利用 inotify+rsync 实现 Linux 文件批量更新 http://www.linuxidc.com/Linux/2012-01/52132.htm

inotify-tools+rsync 实时同步文件安装和配置 http://www.linuxidc.com/Linux/2012-06/63624.htm

rsync 同步完整配置 http://www.linuxidc.com/Linux/2013-06/85781.htm

二、安装 inotify 工具 inotify-tools 并简单解释基本用法   
    1、安装 inotify 得条件：内核版本必须得在 2.6.13 以上的版本才支持。
    2、判断当前版本是否支持安装 inotify   
        # uname -r   
        2.6.32-431.el6.x86_64 (看下内核版本)   
        或   
        # ll /proc/sys/fs/inotify（看下有没有下面这三个文件如果有则说明支持 inotify）
        total 0   
        -rw-r–r– 1 root root 0 Aug 17 12:03 max_queued_events   
        -rw-r–r– 1 root root 0 Aug 17 12:03 max_user_instances   
        -rw-r–r– 1 root root 0 Aug 17 12:03 max_user_watches   
    3、安装 inotify   
（1）编译安装   
            下载源码包：http://inotify-tools.sourceforge.net（从其他地方下载也可以）
            #tar xf inotify-tools-3.14.tar.gz   
            #cd inotify-tools-3.14   
            #./conifgure   
            #make && make install               
            # ll /usr/local/bin/inotifywa*(查看下是否生成了这两个文件)   
            -rwxr-xr-x 1 root root 44271 Aug 17 12:15 /usr/local/bin/inotifywait   
            -rwxr-xr-x 1 root root 41361 Aug 17 12:15 /usr/local/bin/inotifywatch   
（2）yum 安装   
            #yum install inotify-tools   
（这里不做说明）
        这里对生成的 inotifywait 和 inotifywatch 作下说明   
            inotify-tools 安装完成后，会生成 inotifywait 和 inotifywatch 两个指令，其中，inotifywait 用于等待文件或文件集上的一个特定事件，它可以监控任何文件和目录设置，并且可以递归地监控整个目录树。
            inotifywatch 用于收集被监控的文件系统统计数据，包括每个 inotify 事件发生多少次等信息   
    4、inotify 相关参数   
        inotify 定义了下列的接口参数，可以用来限制 inotify 消耗 kernel memory 的大小。由于这些参数都是内存参数，因此，可以根据应用需求，实时的调节其大小。下面分别做简单介绍。
            /proc/sys/fs/inotify/max_queued_evnets   
              表示调用 inotify_init 时分配给 inotify instance 中可排队的 event 的数目的最大值，超出这个值的事件被丢弃，但会触发 IN_Q_OVERFLOW 事件。
            /proc/sys/fs/inotify/max_user_instances   
                表示每一个 real user ID 可创建的 inotify instatnces 的数量上限。
            /proc/sys/fs/inotify/max_user_watches   
                表示每个 inotify instatnces 可监控的最大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小，例如：
            echo 30000000 > /proc/sys/fs/inotify/max_user_watches   
    5、inotifywait 相关参数   
        Inotifywait 是一个监控等待事件，可以配合 shell 脚本使用它，下面介绍一下常用的一些参数：
        -m，即 –monitor，表示始终保持事件监听状态。
        -r，即 –recursive，表示递归查询目录。
        -q，即 –quiet，表示打印出监控事件。
        -e，即 –event，通过此参数可以指定要监控的事件，常见的事件有 modify、delete、create、attrib 等。

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2014-08/105851p2.htm

三、案例:
有一个负载调度节点和三个服务节点以及一个内容发布节点构成，内容发布节点负责将用户发布的数据生成静态页面，同时将静态网页传输到三台服务节点，
而负载调度节点负责将用户请求根据负载算法调度到相应的服务节点，实现用户访问。用户要求在前端访问到的网页数据始终是最新的、一致的。

我们这里让 3 个 WEB 服务器节点，即时同步网站上的数据（通过上面 inotify 的介绍是个监控工具和 rsync 结合，两两结合，干活完美！）
这里介绍下，rsync 工作原理：是在三台 WEB 节点当 rsync 的服务器端，server 服务器当 rsync 的客户端，同步数据就是，server 服务器向节点推送数据的过程

配置步骤：
1、软件的安装
三台节点：

rsync 安装：#yum install xinetd

server 节点：
安装 inotify 我们这里实验用的是编译安装

2、配置文件 rsyncd.conf 配置
(1)#vim /etc/rsyncd.conf(这个文件是需要自己创建)
# Global Settings
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
log file = /var/log/rsyncd.log

# Directory to be synced
[web1]
path = /web1/data
ignore errors = yes
read only = no
write only = no
hosts allow = 192.168.1.2
hosts deny = *
list = false
uid = root
gid = root
auth users = web1user
secrets file = /etc/web1.pass

# echo “web1user:123” >> /etc/web1.pass(创建帐号密码)
#chmod -R 600 /etc/web1.pass

(2)#vim /etc/rsyncd.conf(这个文件是需要自己创建)
# Global Settings
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
log file = /var/log/rsyncd.log

# Directory to be synced
[web2]
path = /web2/data
ignore errors = yes
read only = no
write only = no
hosts allow =192.168.1.3
hosts deny = *
list = false
uid = root
gid = root
auth users = web2user
secrets file = /etc/web2.pass

#echo “web2user:123” >> /etc/web2.pass
#chmod -R 600 /etc/web2.pass

(3)#vim /etc/rsyncd.conf(这个文件是需要自己创建)
# Global Settings
uid = nobody
gid = nobody
use chroot = no
max connections = 10
strict modes = yes
pid file = /var/run/rsyncd.pid
log file = /var/log/rsyncd.log

# Directory to be synced
[web3]
path = /web3/data
ignore errors = yes
read only = no
write only = no
hosts allow = 192。168.1.4
hosts deny = *
list = false
uid = root
gid = root
auth users = web3user
secrets file = /etc/web3.pass

# echo “web3user:123” >> /etc/web3.pass
#chmod -R 600 /etc/web3.pass

三个节点配置文件配置完成后，启用 #chkconfig rsync on && service xinetd start;
加入开机启动 echo“/usr/local/bin/rsync –daemon”>>/etc/rc.local

2、配置内容发布节点
配置内容发布节点的主要工作是将生成的静态网页实时的同步到集群中三个服务节点
#!/bin/bash
host1=192.168.1.2
host2=192.168.1.3
host3=192.168.1.4
src=/web/wwwroot/
dst1=web1
dst2=web2
dst3=web3
user1=web1user
user2=web3user
user3=web3user
/usr/local/bin/inotifywait -mrq –timefmt ‘%d/%m/%y %H:%M’ –format ‘%T %w%f%e’ -e modify,delete,create,attrib $lj \
| while read files
do
/usr/bin/rsync -vzrtopg –delete –progress –password-file=/etc/server.pass $src $user1@$host1::$dst1
/usr/bin/rsync -vzrtopg –delete –progress –password-file=/etc/server.pass $src $user2@$host2::$dst2
/usr/bin/rsync -vzrtopg –delete –progress –password-file=/etc/server.pass $src $user3@$host3::$dst3
echo “${files} was rsynced” >>/tmp/rsync.log 2>&1
done

# echo “123” >> /etc/server.pass(这里只需要密码即可)
# chmod -R 600 /etc/server.pass

本相关解释如下：
–timefmt：指定时间的输出格式。
–format：指定变化文件的详细信息。
这两个参数一般配合使用，通过指定输出格式，输出类似与：
15/04/10 00:29 /web/wwwroot/ixdba.shDELETE,ISDIR was rsynced
15/04/10 00:30 /web/wwwroot/index.htmlMODIFY was rsynced
15/04/10 00:31 /web/wwwroot/pcre-8.02.tar.gzCREATE was rsynced
这个脚本的作用就是通过 inotify 监控文件目录的变化，进而触发 rsync 进行同步操作，由于这个过程是一种主动触发操作，通过系统内核完成的，所以，比起那些遍历整个目录的扫描方式，效率要高很多。
有时会遇到这样的情况：向 inotify 监控的目录（这里是 /web/wwwroot/）写入一个很大文件时，由于写入这个大文件需要一段时间，
此时 inotify 就会持续不停的输出该文件被更新的信息，这样就会持续不停的触发 rsync 去执行同步操作，占用了大量系统资源，那么针对这种情况，最理想的做法是等待文件写完后再去触发 rsync 同步。
在这种情况下，可以修改 inotify 的监控事件，即：“-e close_write,delete,create,attrib”是指“监听 创建 移动 删除 写入 权限”事件。
接着，将这个脚本命名为 inotifyrsync.sh，放到 /web/wwwroot 目录下，然后给定可执行权限，放到后台运行：
chmod 755 /web/wwwroot/inotifyrsync.sh
/web/wwwroot/inotifyrsync.sh &
最后，将此脚本加入系统自启动文件：
echo“/web/wwwroot/inotifyrsync.sh &”>>/etc/rc.local

3 测试 rsync+inotify 实时同步功能
所有配置完成后，可以在网页发布节点的 /web/wwwroot 目录下添加、删除或者修改某个文件，
然后到三个服务节点对应的目录查看文件是否跟随网页发布节点的 /web/wwwroot 目录下文件发生变化，
如果你看到三个服务节点对应的目录文件跟着内容发布节点目录文件同步变化，那么我们这个系统就配置成功了。

Rsync 的详细介绍 ：请点这里
Rsync 的下载地址 ：请点这里

一、rsync+inotify 的组合为什么会出现？？

rsync 缺陷：

1、由于 rsync 在实施大量数据备份时，工作方式是扫描整个数据文 件，其实发生更改  的只是一小部分，导致过多的占用系统资源。

2、rsync 不能实时的去监测、同步数据，虽然它可以通过 linux 守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据  可能出现不一致，无法在应用故障时完全的恢复数据。

inotify 优点：

Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制，linux 内核从 2.6.13 起，加入了 Inotify 支持，通过 Inotify 可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而 inotify-tools 就是这样的一个第三方软件。rsync 可以实现触发式的文件同步，但是通过 crontab 守护进程方式进行触发，同步的数据和实际数据会有差异，而 inotify 可以监控文件系统的各种变化，当文件有任何变动时，就触发 rsync 同步，这样刚好解决了同步数据的实时性问题。

利用 inotifywait 监控主机文件和目录 http://www.linuxidc.com/Linux/2013-03/81075.htm

利用 inotify+rsync 实现 Linux 文件批量更新 http://www.linuxidc.com/Linux/2012-01/52132.htm

inotify-tools+rsync 实时同步文件安装和配置 http://www.linuxidc.com/Linux/2012-06/63624.htm

rsync 同步完整配置 http://www.linuxidc.com/Linux/2013-06/85781.htm

二、安装 inotify 工具 inotify-tools 并简单解释基本用法   
    1、安装 inotify 得条件：内核版本必须得在 2.6.13 以上的版本才支持。
    2、判断当前版本是否支持安装 inotify   
        # uname -r   
        2.6.32-431.el6.x86_64 (看下内核版本)   
        或   
        # ll /proc/sys/fs/inotify（看下有没有下面这三个文件如果有则说明支持 inotify）
        total 0   
        -rw-r–r– 1 root root 0 Aug 17 12:03 max_queued_events   
        -rw-r–r– 1 root root 0 Aug 17 12:03 max_user_instances   
        -rw-r–r– 1 root root 0 Aug 17 12:03 max_user_watches   
    3、安装 inotify   
（1）编译安装   
            下载源码包：http://inotify-tools.sourceforge.net（从其他地方下载也可以）
            #tar xf inotify-tools-3.14.tar.gz   
            #cd inotify-tools-3.14   
            #./conifgure   
            #make && make install               
            # ll /usr/local/bin/inotifywa*(查看下是否生成了这两个文件)   
            -rwxr-xr-x 1 root root 44271 Aug 17 12:15 /usr/local/bin/inotifywait   
            -rwxr-xr-x 1 root root 41361 Aug 17 12:15 /usr/local/bin/inotifywatch   
（2）yum 安装   
            #yum install inotify-tools   
（这里不做说明）
        这里对生成的 inotifywait 和 inotifywatch 作下说明   
            inotify-tools 安装完成后，会生成 inotifywait 和 inotifywatch 两个指令，其中，inotifywait 用于等待文件或文件集上的一个特定事件，它可以监控任何文件和目录设置，并且可以递归地监控整个目录树。
            inotifywatch 用于收集被监控的文件系统统计数据，包括每个 inotify 事件发生多少次等信息   
    4、inotify 相关参数   
        inotify 定义了下列的接口参数，可以用来限制 inotify 消耗 kernel memory 的大小。由于这些参数都是内存参数，因此，可以根据应用需求，实时的调节其大小。下面分别做简单介绍。
            /proc/sys/fs/inotify/max_queued_evnets   
              表示调用 inotify_init 时分配给 inotify instance 中可排队的 event 的数目的最大值，超出这个值的事件被丢弃，但会触发 IN_Q_OVERFLOW 事件。
            /proc/sys/fs/inotify/max_user_instances   
                表示每一个 real user ID 可创建的 inotify instatnces 的数量上限。
            /proc/sys/fs/inotify/max_user_watches   
                表示每个 inotify instatnces 可监控的最大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小，例如：
            echo 30000000 > /proc/sys/fs/inotify/max_user_watches   
    5、inotifywait 相关参数   
        Inotifywait 是一个监控等待事件，可以配合 shell 脚本使用它，下面介绍一下常用的一些参数：
        -m，即 –monitor，表示始终保持事件监听状态。
        -r，即 –recursive，表示递归查询目录。
        -q，即 –quiet，表示打印出监控事件。
        -e，即 –event，通过此参数可以指定要监控的事件，常见的事件有 modify、delete、create、attrib 等。

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2014-08/105851p2.htm