阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

再说rsync+inotify实现数据的实时备份

102次阅读
没有评论

共计 2725 个字符,预计需要花费 7 分钟才能阅读完成。

rsync 的优点与不足

与传统的 cp、tar 备份方式相比,rsync 具有安全性高、备份迅速、支持增量备份等优点,通过 rsync 可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。

随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync 在高端业务系统中也逐渐暴露出了很多不足,首先,rsync 同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,rsync 不能实时的去监测、同步数据,虽然它可以通过 linux 守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因,rsync+inotify 组合出现了!

inotify 介绍

Inotify 是一种强大的、细粒度的、异步的文件系统事件监控机制,linux 内核从 2.6.13 起,加入了 Inotify 支持,通过 Inotify 可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而 inotify-tools 就是这样的一个第三方软件。

在前面我们讲到,rsync 可以实现触发式的文件同步,但是通过 crontab 守护进程方式进行触发,同步的数据和实际数据会有差异,而 inotify 可以监控文件系统的各种变化,当文件有任何变动时,就触发 rsync 同步,这样刚好解决了同步数据的实时性问题。

安装 inotify 和 inotify-tools 工具

由于 inotify 特性需要 Linux 内核的支持,在安装 inotify-tools 前要先确认 Linux 系统内核是否达到了 2.6.13 以上,如果 Linux 内核低于 2.6.13 版本,就需要重新编译内核加入 inotify 的支持,也可以用如下方法判断,内核是否支持 inotify。

检测系统是否支持 inotify

#Linux shell

uname -a

Linux localhost 3.2.0-4-amd64 #1 SMP Debian 3.2.57-3 x86_64 GNU/Linux #内核大于 2.6.13 是支持的

ll /proc/sys/fs/inotify

总用量 0

-rw-r–r– 1 root root 0  5 月 19 20:02 max_queued_events

-rw-r–r– 1 root root 0  5 月 19 20:02 max_user_instances

-rw-r–r– 1 root root 0  5 月 19 20:02 max_user_watches

如果有上面三项输出,表示系统已经默认支持 inotify,接着就可以开始安装 inotify-tools 了。

安装 inotify-tools

Debian 系统

apt-get install inotify-tools

CentOS 系统

yum install inotify-tools

源码方式

请到 https://github.com/rvoicilas/inotify-tools/ 下载源码编译安装。

ll /usr/bin/inotifywa*

inotify-tools 安装完成后,会生成 inotifywait 和 inotifywatch 两个指令,其中,inotifywait 用于等待文件或文件集上的一个特定事件,它可以监控任何文件和目录设置,并且可以递归地监控整个目录树。

inotifywatch 用于收集被监控的文件系统统计数据,包括每个 inotify 事件发生多少次等信息。

inotify 参数介绍

inotify 定义了下列的接口参数,可以用来限制 inotify 消耗 kernel memory 的大小。由于这些参数都是内存参数,因此,可以根据应用需求,实时的调节其大小。

cat /proc/sys/fs/inotify/max_queued_evnets

表示调用 inotify_init 时分配给 inotify instance 中可排队的 event 的数目的最大值,超出这个值的事件被丢弃,但会触发 IN_Q_OVERFLOW 事件。

cat /proc/sys/fs/inotify/max_user_instances

表示每一个 real user ID 可创建的 inotify instatnces 的数量上限。

cat /proc/sys/fs/inotify/max_user_watches

表示每个 inotify instatnces 可监控的最大目录数量。如果监控的文件数目巨大,需要根据情况,适当增加此值的大小,例如:

echo 30000000 > /proc/sys/fs/inotify/max_user_watches

inotifywait 相关参数

Inotifywait 是一个监控等待事件,可以配合 shell 脚本使用它,下面介绍一下常用的一些参数:

•-m,即–monitor,表示始终保持事件监听状态。

•-r,即–recursive,表示递归查询目录。

•-q,即–quiet,表示打印出监控事件。

•-e,即–event,通过此参数可以指定要监控的事件,常见的事件有 modify、delete、create、attrib 等。

更多详细参数请查看手册。

man  inotifywait #查看手册

————————————– 分割线 ————————————–

Rsync+inotify 实现 Git 数据实时同步备份 http://www.linuxidc.com/Linux/2014-10/108298.htm

Rsync 实现文件备份同步详解 http://www.linuxidc.com/Linux/2014-09/106967.htm

Rsync 同步两台服务器 http://www.linuxidc.com/Linux/2014-09/106574.htm

CentOS 6.5 下 Rsync 远程同步 http://www.linuxidc.com/Linux/2014-05/101084.htm

Ubuntu Linux 下用 Rsync 进行数据备份和同步配制 http://www.linuxidc.com/Linux/2014-03/97592.htm

Linux 使用 Rsync 客户端与服务端同步目录进行备份 http://www.linuxidc.com/Linux/2014-02/97068.htm

Rsync 的详细介绍 :请点这里
Rsync 的下载地址 :请点这里

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计2725字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中