阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

如何远程备份MySQL binlog

411次阅读
没有评论

共计 2830 个字符,预计需要花费 8 分钟才能阅读完成。

以前备份 binlog 时,都是先在本地进行备份压缩,然后发送到远程服务器中。但是这其中还是有一定风险的,因为日志的备份都是周期性的,如果在某个周期中,服务器宕机了,硬盘损坏了,就可能导致这段时间的 binlog 就丢失了。

而且,以前用脚本对远程服务器进行备份的方式,有个缺点:无法对 MySQL 服务器当前正在写的二进制日志文件进行备份。所以,只能等到 MySQL 服务器全部写完才能进行备份。而写完一个 binlog 的时间并不固定,这就导致备份周期的不确定。

从 MySQL5.6 开始,mysqlbinlog 支持将远程服务器上的 binlog 实时复制到本地服务器上。

mysqlbinlog 的实时二进制复制功能并非简单的将远程服务器的日志复制过来,它是通过 MySQL 5.6 公布的 Replication API 实时获取二进制事件。本质上,就相当于 MySQL 的从服务器。与普通服务器类似,主服务器发生事件后,一般都会在 0.5~1 秒内进行备份。

备份命令

mysqlbinlog –read-from-remote-server –raw –host=192.168.244.145 –port=3306 –user=repl –password=repl –stop-never  mysql-bin.000001

解释如下:

–read-from-remote-server:用于备份远程服务器的 binlog。如果不指定该选项,则会查找本地的 binlog。

–raw:binlog 日志会以二进制格式存储在磁盘中,如果不指定该选项,则会以文本形式保存。

–user:复制的 MySQL 用户,只需要授予 REPLICATION SLAVE 权限。

–stop-never:mysqlbinlog 可以只从远程服务器获取指定的几个 binlog,也可将不断生成的 binlog 保存到本地。指定此选项,代表只要远程服务器不关闭或者连接未断开,mysqlbinlog 就会不断的复制远程服务器上的 binlog。

mysql-bin.000001:代表从哪个 binlog 开始复制。

除了以上选项外,还有以下几个选项需要注意:

–stop-never-slave-server-id:在备份远程服务器的 binlog 时,mysqlbinlog 本质上就相当于一个从服务器,该选项就是用来指定从服务器的 server-id 的。默认为 -1。

–to-last-log:代表 mysqlbinlog 不仅能够获取指定的 binlog,还能获取其后生成的 binlog,获取完了,才终止。如果指定了 –stop-never 选项则会隐式打开 –to-last-log 选项。

–result-file:用于设置远程服务器的 binlog,保存到本地的前缀。譬如对于 mysql-bin.000001,如果指定 –result-file=/test/backup-,则保存到本地后的文件名为 /test/backup-mysql-bin.000001。注意:如果将 –result-file 设置为目录,则一定要带上目录分隔符“/”。譬如 –result-file=/test/,而不是 –result-file=/test,不然保存到本地的文件名为 /testmysql-bin.000001。

不足:

这个方式有个问题,对于常规的主从复制来说,如果主从直接的连接断开了,则从会自动再次连接,而对于 mysqlbinlog,如果断开了,并不会自动连接。

解决方案:

可通过脚本来弥补上述不足。

#!/bin/sh
BACKUP_BIN=/usr/bin/mysqlbinlog
LOCAL_BACKUP_DIR=/backup/binlog/
BACKUP_LOG=/backup/binlog/backuplog

REMOTE_HOST=192.168.244.145
REMOTE_PORT=3306
REMOTE_USER=repl
REMOTE_PASS=repl
FIRST_BINLOG=mysql-bin.000001

#time to wait before reconnecting after failure
SLEEP_SECONDS=10

##create local_backup_dir if necessary
mkdir -p ${LOCAL_BACKUP_DIR}
cd ${LOCAL_BACKUP_DIR}

## 运行 while 循环,连接断开后等待指定时间,重新连接
while :
do
  if [`ls -A “${LOCAL_BACKUP_DIR}” |wc -l` -eq 0 ];then
    LAST_FILE=${FIRST_BINLOG}
  else
    LAST_FILE=`ls -l ${LOCAL_BACKUP_DIR} | grep -v backuplog |tail -n 1 |awk ‘{print $9}’`
  fi
  ${BACKUP_BIN} –raw –read-from-remote-server –stop-never –host=${REMOTE_HOST} –port=${REMOTE_PORT} –user=${REMOTE_USER} –password=${REMOTE_PASS} ${LAST_FILE}

  echo “`date +”%Y/%m/%d %H:%M:%S”` mysqlbinlog 停止,返回代码:$?” | tee -a ${BACKUP_LOG}
  echo “${SLEEP_SECONDS} 秒后再次连接并继续备份 ” | tee -a ${BACKUP_LOG} 
  sleep ${SLEEP_SECONDS}
done

脚本解读:

1. 实际上定义了一个死循环,如果备份失败,则 10s 后重新连接。

2. 第一次运行时需指定 FIRST_BINLOG 的值,指从哪个 binlog 开始复制,一般为 mysql-bin.000001。后续执行的时候就直接获取备份目录下最新的 binlog,从最新的 binlog 开始复制。

总结:

1. 如果指定了 –raw,mysqlbinlog 获取事件后,并不会实时落盘,而是先保存在本地服务器的内存中,每 4K 刷盘一次。这也就减少了频繁的日志写操作。如果此时 mysqlbinlog 和主服务器之间的连接断开了,则内存中的 binlog 会马上刷新到磁盘中。

2. 尽管 mysqlbinlog 类似于从服务器,但从服务器上的 relaylog 却是实时存盘的,即从服务器获取主服务器产生的事件后,会实时写入到 relaylog 中。

3. 如果不指定 –raw,这个时候会以文本格式存盘,此时,–result-file=/test/ 不能指定为目录,必须明确写上文件名,譬如 –result-file=/test/1.sql,此时,mysqlbinlog 获取事件后,是实时落盘的,不会每 4K 刷盘一次。

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2016-05/131537.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-22发表,共计2830字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19348
评论数
4
阅读量
7806417
文章搜索
热门文章
开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南 大家好,我是星哥。之前介绍了腾讯云的 Code...
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板 1Panel:小白轻松构建 Web 服务与面板加固指南 哈喽,我是星哥,经常有人问我不...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南 大家好,我是星哥。之前介绍了腾讯云的 Code...
升级自动部署更新SSL证书系统、申请godaddy的APIKEY

升级自动部署更新SSL证书系统、申请godaddy的APIKEY

升级自动部署更新 SSL 证书系统、申请 godaddy 的 APIKEY 公司之前花钱购买的 ssl 证书快...
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

  颠覆 AI 开发效率!开源工具一站式管控 30+ 大模型 ApiKey,秘钥付费 + 负载均衡全...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
150元打造低成本NAS小钢炮,捡一块3865U工控板

150元打造低成本NAS小钢炮,捡一块3865U工控板

150 元打造低成本 NAS 小钢炮,捡一块 3865U 工控板 一块二手的熊猫 B3 工控板 3865U,搭...
星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛 NAS-12:开源笔记的进化之路,效率玩家的新选择 前言 如何高效管理知识与笔记,已经成为技术...
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...
你的云服务器到底有多强?宝塔跑分告诉你

你的云服务器到底有多强?宝塔跑分告诉你

你的云服务器到底有多强?宝塔跑分告诉你 为什么要用宝塔跑分? 宝塔跑分其实就是对 CPU、内存、磁盘、IO 做...
【开源神器】微信公众号内容单篇、批量下载软件

【开源神器】微信公众号内容单篇、批量下载软件

【开源神器】微信公众号内容单篇、批量下载软件 大家好,我是星哥,很多人都希望能高效地保存微信公众号的文章,用于...