阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

企业Linux服务器数据实时同步备份的解决方案

137次阅读
没有评论

共计 6177 个字符,预计需要花费 16 分钟才能阅读完成。

摘要:数据是最宝贵的财产!公司的服务器都是需要对数据有着完整的备份策略,利用脚本、计划任务、开源软件等等,无论那种途径,能够对数据的实时同步,才是最理想的效果!下面详细介绍利用 rsync 配合 inotify 实现数据实时的触发同步。

rsync: 可以镜像保存整个目录树和文件系统。可以很容易做到保持原来文件的权限、时间、软硬链接等等。第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。

方案:起初用 rsync 进行数据备份是利用计划任务,定时执行一下命令实现 rsync 的同步,但最近开发这边修改比较频繁,看来需要实时同步备份来完善备份机制!所以需要利用 inotify 触发器来改善!达到一旦指定的位置有了新的变动就将其同步!

环境:
CentOS 6.4 64 位

rsync-3.0.9
inotify-tools-3.14

企业 Linux 服务器数据实时同步备份的解决方案

说明:
10.10.1.6 (rsync+inotify)———- 网站程序(/data0/htdocs/)
10.10.1.9 (rsync)—————— 网站程序备份(/data0/htdocs/)

目的:
实现 10.10.1.6 的 /data0/htdocs/ 目录下发生任何变动都将实时同步到 10.10.1.9 的 /data0/htdocs/ 上
(另,这两台都跑有 keepalived+nginx,来实现出现故障自动切换的容灾,详细配置会在后面补上)

一、web 服务器 10.10.1.6 (rsync+inotify)
1、准备软件包
# mkdir /data/ftpdata
# wget http://rsync.samba.org/ftp/rsync/rsync-3.0.9.tar.gz
# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

2、安装 Rsync
tar-zxvf rsync-3.0.9.tar.gz
cdrsync-3.0.9
./configure–prefix=/usr/local/rsync
make;makeinstall

建立密码认证文件
[root@ftp ~]# echo “111111”>/etc/rsyncd/rsyncd.secrets 建立密码认证文件

* 其中 111111 可以自己设置密码,rsyncd.secrets 名字也可以自己设置;
权限:要将 /etc/rsyncd/rsyncd.secrets 设置为 root 拥有, 且权限为 600。

# chmod 600 /etc/rsyncd/rsyncd.secrets

3、安装 inotify
tar-zxvf inotify-tools-3.14.tar.gz
cdinotify-tools-3.14
./configure–prefix=/usr/local/inotify
make;makeinstall

4、创建 rsync 复制脚本
此项功能主要是将 ftp 端的目录 /data0/htdocs/ 里的内容,如果修改了(无论是添加、修改、删除文件)能够通过 inotify 监控到,并通过 rsync 实时的同步给 10.10.1.9 的 /data0/htdocs 里,下面是通过 shell 脚本实现的。
[root@web ~]# vim /root/shell/rsync.sh
#!/bin/bash
host=10.10.1.9
src=/data0/htdocs/
/usr/local/inotify/bin/inotifywait-mrq –timefmt ‘%d/%m/%y %H:%M’–format’%T %w%f%e’–e modify,delete,create,attrib $src| whilereadfiles
do
/usr/bin/rsync-vzrtopg –delete –password-file=/etc/rsyncd/rsyncd.secrets $src root@$host::htdocs> /dev/null
echo”${files} was rsynced”>>/var/log/rsync.log 2>&1
done

[root@web ~]# chmod u+x /root/shell/rsync.sh
[root@web ~]# setsid /root/shell/rsync.sh &
# 后台运行脚本, 关闭 shell 终端继续后台运行

rsync.sh 脚本加入开机启动项
# echo “/root/shell/rsync.sh” >> /etc/rc.local

防火墙开启 rsync 端口:873
添加:
iptables -A INPUT -m state –state NEW -m tcp -p tcp –dport 873 -jACCEPT
重启:
# /etc/init.d/iptables restart

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2013-11/92497p2.htm

Rsync 的详细介绍:请点这里
Rsync 的下载地址:请点这里

推荐阅读:

利用 inotifywait 监控主机文件和目录 http://www.linuxidc.com/Linux/2013-03/81075.htm

利用 inotify+rsync 实现 Linux 文件批量更新 http://www.linuxidc.com/Linux/2012-01/52132.htm

inotify-tools+rsync 实时同步文件安装和配置 http://www.linuxidc.com/Linux/2012-06/63624.htm

rsync 同步完整配置 http://www.linuxidc.com/Linux/2013-06/85781.htm

二、备份服务器 10.10.1.9(rsync)
1、准备工作
创建备份目录:
# mkdir /data0/htdocs

2、安装 rsync(备份主机只安装 rsync)
tar-zxvf rsync-3.0.9.tar.gz
cdrsync-3.0.9
./configure–prefix=/usr/local/rsync
make;makeinstall

3、建立用户与密码认证文件
[root@backup ~]# echo “root:111111” > /etc/ rsyncd/rsyncd.secrets
[root@backup ~]# less /etc/rsyncd/rsyncd.secrets
root:111111
注意:
请记住,在 10.10.1.6 端建立的密码文件,只有密码,没有用户名;而在 10.10.1.9 里建立的密码文件,用户名与密码都有。
权限:要将 /etc/rsyncd/rsyncd.secrets 设置为 root 拥有, 且权限为 600。
#chmod 600 /etc/rsyncd/rsyncd.secrets

4、建立 rsync 配置文件
[root@backup ~]# vim /etc/rsyncd/rsyncd.conf
pid file= /var/run/rsyncd.pid
port = 873
address = 10.10.1.9
#uid = nobody
#gid = nobody
uid = root
gid = root
use chroot = no
readonly = no
#limit access to private LANs
hosts allow=10.10.1.0/255.255.255.0
hosts deny=*
max connections = 5
motd file= /etc/rsyncd/rsyncd.motd
#This will give you a separate log file
log file= /var/log/rsync.log
#transfer logging = yes
log format= %t %a %m %f %b
syslog facility = local3
timeout = 300
[htdocs]
path = /data0/htdocs
list=yes
ignore errors
auth users= root
secrets file= /etc/rsyncd/rsyncd.secrets
#comment = rsync htdocs

启动 rsync 服务
# /usr/local/rsync/bin/rsync –daemon –config=/etc/rsyncd.conf
# ps -ef |grep rsync

Rsync 服务加入开机启动项
# echo “/usr/local/rsync/bin/rsync –daemon –config=/etc/rsyncd.conf” >> /etc/rc.local

防火墙开启 rsync 端口:873
添加:
iptables -A INPUT -m state –state NEW -m tcp -p tcp –dport 873 -jACCEPT
重启:
# /etc/init.d/iptables restart

完成, 其实这个时候数据已经同步了!

测试一下:
由于 /data0/htdocs/ 下涉及到一些公司信息,所以就以 /data0/htdocs/tmp/ 为例

企业 Linux 服务器数据实时同步备份的解决方案

企业 Linux 服务器数据实时同步备份的解决方案

主机名可以区别是两台机器,里面的内容完全一直,连文件的属性都一样

再对里面修改一下试试,创建一个文件,然后删除 user 目录试试

企业 Linux 服务器数据实时同步备份的解决方案

企业 Linux 服务器数据实时同步备份的解决方案

有人说使用 mv 移动目录有时会碰到数据同步位置错误,特意测试了一下,没有发生这种情况,以后碰到再补充!

摘要:数据是最宝贵的财产!公司的服务器都是需要对数据有着完整的备份策略,利用脚本、计划任务、开源软件等等,无论那种途径,能够对数据的实时同步,才是最理想的效果!下面详细介绍利用 rsync 配合 inotify 实现数据实时的触发同步。

rsync: 可以镜像保存整个目录树和文件系统。可以很容易做到保持原来文件的权限、时间、软硬链接等等。第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件。

方案:起初用 rsync 进行数据备份是利用计划任务,定时执行一下命令实现 rsync 的同步,但最近开发这边修改比较频繁,看来需要实时同步备份来完善备份机制!所以需要利用 inotify 触发器来改善!达到一旦指定的位置有了新的变动就将其同步!

环境:
CentOS 6.4 64 位

rsync-3.0.9
inotify-tools-3.14

企业 Linux 服务器数据实时同步备份的解决方案

说明:
10.10.1.6 (rsync+inotify)———- 网站程序(/data0/htdocs/)
10.10.1.9 (rsync)—————— 网站程序备份(/data0/htdocs/)

目的:
实现 10.10.1.6 的 /data0/htdocs/ 目录下发生任何变动都将实时同步到 10.10.1.9 的 /data0/htdocs/ 上
(另,这两台都跑有 keepalived+nginx,来实现出现故障自动切换的容灾,详细配置会在后面补上)

一、web 服务器 10.10.1.6 (rsync+inotify)
1、准备软件包
# mkdir /data/ftpdata
# wget http://rsync.samba.org/ftp/rsync/rsync-3.0.9.tar.gz
# wget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

2、安装 Rsync
tar-zxvf rsync-3.0.9.tar.gz
cdrsync-3.0.9
./configure–prefix=/usr/local/rsync
make;makeinstall

建立密码认证文件
[root@ftp ~]# echo “111111”>/etc/rsyncd/rsyncd.secrets 建立密码认证文件

* 其中 111111 可以自己设置密码,rsyncd.secrets 名字也可以自己设置;
权限:要将 /etc/rsyncd/rsyncd.secrets 设置为 root 拥有, 且权限为 600。

# chmod 600 /etc/rsyncd/rsyncd.secrets

3、安装 inotify
tar-zxvf inotify-tools-3.14.tar.gz
cdinotify-tools-3.14
./configure–prefix=/usr/local/inotify
make;makeinstall

4、创建 rsync 复制脚本
此项功能主要是将 ftp 端的目录 /data0/htdocs/ 里的内容,如果修改了(无论是添加、修改、删除文件)能够通过 inotify 监控到,并通过 rsync 实时的同步给 10.10.1.9 的 /data0/htdocs 里,下面是通过 shell 脚本实现的。
[root@web ~]# vim /root/shell/rsync.sh
#!/bin/bash
host=10.10.1.9
src=/data0/htdocs/
/usr/local/inotify/bin/inotifywait-mrq –timefmt ‘%d/%m/%y %H:%M’–format’%T %w%f%e’–e modify,delete,create,attrib $src| whilereadfiles
do
/usr/bin/rsync-vzrtopg –delete –password-file=/etc/rsyncd/rsyncd.secrets $src root@$host::htdocs> /dev/null
echo”${files} was rsynced”>>/var/log/rsync.log 2>&1
done

[root@web ~]# chmod u+x /root/shell/rsync.sh
[root@web ~]# setsid /root/shell/rsync.sh &
# 后台运行脚本, 关闭 shell 终端继续后台运行

rsync.sh 脚本加入开机启动项
# echo “/root/shell/rsync.sh” >> /etc/rc.local

防火墙开启 rsync 端口:873
添加:
iptables -A INPUT -m state –state NEW -m tcp -p tcp –dport 873 -jACCEPT
重启:
# /etc/init.d/iptables restart

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2013-11/92497p2.htm

Rsync 的详细介绍:请点这里
Rsync 的下载地址:请点这里

推荐阅读:

利用 inotifywait 监控主机文件和目录 http://www.linuxidc.com/Linux/2013-03/81075.htm

利用 inotify+rsync 实现 Linux 文件批量更新 http://www.linuxidc.com/Linux/2012-01/52132.htm

inotify-tools+rsync 实时同步文件安装和配置 http://www.linuxidc.com/Linux/2012-06/63624.htm

rsync 同步完整配置 http://www.linuxidc.com/Linux/2013-06/85781.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计6177字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中