阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

通过 mysqlbinlog 和 grep 命令定位binlog文件中指定操作

454次阅读
没有评论

共计 3612 个字符,预计需要花费 10 分钟才能阅读完成。

1.binlog 日志基本知识

MySQL 的二进制日志 binlog 可以说是 MySQL 最重要的日志,它记录了所有的 DDL 和 DML 语句(除了数据查询语句 select),以事件形式记录,还包含语句所执行的消耗的时间。

binlog 有三种格式:Statement、Row 以及 Mixed。分别是:基于 SQL 语句的复制 (statement-based replication,SBR)、基于行的复制(row-based replication,RBR) 和混合模式复制(mixed-based replication,MBR)。

格式 说明 优点 缺点
Statement 模式 每一条会修改数据的 sql 语句都会记录到 binlog 中。 不需要记录每一行的变化,减少了 binlog 日志量,节约了 IO,提高性能。 缺点是在某些情况下会导致 master-slave 中的数据不一致 (如 sleep() 函数,last_insert_id(),以及 user-defined functions(udf)等会出现问题)。
Row 模式

不记录每条 sql 语句的上下文信息,仅需记录哪条数据被修改了,修改成什么样了。

而且不会出现某些特定情况下的存储过程、或 function、或 trigger 的调用和触发无法被正确复制的问题。

新版本的 MySQL 中对 row level 模式也被做了优化,并不是所有的修改都会以 row level 来记录,像遇到表结构变更的时候就会以 statement 模式来记录,如果 sql 语句确实就是 update 或者 delete 等修改数据的语句,那么会记录所有行的变更。

任何情况都可以被复制,这对复制来说是最安全可靠的。多数情况下,从服务器上的表如果有主键的话,复制就会快了很多。
复制以下几种语句时的行锁更少:(1)INSERT … SELECT;(2)包含 AUTO_INCREMENT 字段的 INSERT;(3)没有附带条件或者并没有修改很多记录的 UPDATE 或 DELETE 语句
执行 INSERT,UPDATE,DELETE 语句时锁更少。从服务器上采用多线程来执行复制成为可能。

binlog 大了很多
复杂的回滚时 binlog 中会包含大量的数据
主服务器上执行 UPDATE 语句时,所有发生变化的记录都会写到 binlog 中,这会导致频繁发生 binlog 的并发写问题
UDF 产生的大 BLOB 值会导致复制变慢
无法从 binlog 中看到都复制了写什么语句
MIXED 模式 实际上就是前两种模式的结合,在 mixed 模式下,mysql 会根据执行的每一条具体的 sql 语句来区分对待记录的日志形式,也就是在 statement 和 row 之间选一种。 在 Mixed 模式下,一般的语句修改使用 statment 格式保存 binlog,如一些函数,statement 无法完成主从复制的操作,则采用 row 格式保存 binlog,MySQL 会根据执行的每一条具体的 sql 语句来区分对待记录的日志形式,也就是在 Statement 和 Row 之间选择一种。

2. 查看 Row 模式和 Statement 模式的 binlog

为了加深印象,下面我们看看两者模式下的 binlog 到底长什么样子。

2.1 测试案例

分别在 Row 模式 和 Statement 模式 下执行以下语句。

创建一张表

CREATE TABLE IF NOT EXISTS `tt` (`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
          `name` varchar(16) NOT NULL,
          `sex` enum('m','w') NOT NULL DEFAULT 'm',
          `age` tinyint(3) unsigned NOT NULL,
          `classid` char(6) DEFAULT NULL,
          PRIMARY KEY (`id`)
         ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

向表中 insert 5 笔数据

insert into zyyshop.tt(`name`,`sex`,`age`,`classid`) values('yiyi','w',20,'cls1'),('xiaoer','m',22,'cls3'),('zhangsan','w',21,'cls5'),('lisi','m',20,'cls4'),('wangwu','w',26,'cls6');

用一条 SQL 语句修改前两笔数据

update tt set name ='XXX' where id in (1,2);

在 Row 模式下形成的 binlog 文件为:mysql3306_bin.000011

在 Statement 模式下生成的 binlog 文件为:mysql3306_bin.000012。

2.2 用 show binlog events in 命令去查看分析 2 各个文件

查询 Row 模式 记录如下:

通过 mysqlbinlog 和 grep 命令定位 binlog 文件中指定操作

 查询 Statement 模式记录如下:

通过 mysqlbinlog 和 grep 命令定位 binlog 文件中指定操作

 通过这个命令查看 log,两者差距不大。

2.3 通过 mysqlbinlog 命令解析

执行的命令分别如下

指定路径 /bin/mysqlbinlog  --no-defaults --base64-output=decode-rows -v 指定路径 /mysql_log/mysql3306_bin.000011
指定路径 /bin/mysqlbinlog  --no-defaults --base64-output=decode-rows -v 指定路径 /mysql_log/mysql3306_bin.000012

我们可以看到 Row 模式下的 binlog 记录丰富的多,例如针对 update 的那条语句。

Row 模式 记录如下:

通过 mysqlbinlog 和 grep 命令定位 binlog 文件中指定操作

Statement 模式 记录如下:

通过 mysqlbinlog 和 grep 命令定位 binlog 文件中指定操作

 总结: 通过 show binlog events in 命令,查看 Row 模式下记录 和 Statement 模式下的记录,两者基本一致。通过 mysqlbinlog 可以查看 binlog 具体的信息。Row 模式下的 binlog 记录比 Statement 模式下丰富的多。

3. 通过 mysqlbinlog 和 grep 命令定位 binlog 文件中指定操作

既然 binlog 文件中有详细的操作信息,如果有人误操作,我们是否可以快速定位到对应操作信息呢?

快速定位可以帮助我们找到当时具体的操作是什么,也可以找到 POS(position)点,方便精准恢复。

例如,书接上回,我们发现表 tt 不在了,被人删除了。ERROR 1146 (42S02): Table ‘TestBinlog2.tt’ doesn’t exist。

那么我们就可以在 binlog 查找 drop 相关的操作,命令如下:

指定路径 /bin/mysqlbinlog  --no-defaults --base64-output=decode-rows -v 指定路径 /mysql_log/mysql3306_bin.000012 | grep drop

可惜没有数据,这是什么情况呢?不应该啊!!!

会不会大小写的问题?那么命令修改如下:

 指定路径 /bin/mysqlbinlog  --no-defaults --base64-output=decode-rows -v 指定路径 /mysql_log/mysql3306_bin.000012 | grep -i drop

通过 mysqlbinlog 和 grep 命令定位 binlog 文件中指定操作

找到了,但是信息不是很完整,我们可不可以找到,这条命令的更信息信息呢?例如,drop 前后各 10 条数据。

指定路径 /bin/mysqlbinlog  --no-defaults --base64-output=decode-rows -v 指定路径 /mysql_log/mysql3306_bin.000012 | grep -i  -A 10 -B 10  drop

通过 mysqlbinlog 和 grep 命令定位 binlog 文件中指定操作

这正是我们想要的,完美!

4. 其它知识补充

4.1 mysqlbinlog 工具

此处主要讲解用于查看 binglog 日志的部分参数,用于还原 binlog 的参数在此不细讲。

mysqlbinlog 工具参数说明【用于查看的部分】
参数 说明
-base64-output

inlog 输出语句的 base64 解码 分为三类:
默认是值 auto , 仅打印 base64 编码的需要的信息,如 row-based 事件和事件的描述信息。
never 仅适用于不是 row-based 的事件
decode-rows 配合 –verbose 选项一起使用解码行事件到带注释的伪 SQL 语句

–verbose 重新构建伪 SQL 语句的行信息输出,- v 会增加列类型的注释信息。
–database=name 列出数据库的名称(仅限 binlog 文件存储在本地)

4.2 grep 命令

grep 是一个强大的文本搜索工具命令,用于查找文件中符合指定格式的字符串,支持正则表达式。

grep 命令常用参数说明
参数 说明
-A 除了显示符合条件的那一行之外,并显示该列之后的指定行的内容内容。
-B 除了显示符合条件的那一行之外,并显示该列之前的指定行的内容内容。
-c 计算符合结果的行数。
-i 忽略字符大小写
-v 反向查找
-e 按指定字符串查找
-E 按指定字符串指定的正则查找
-n 在显示符合条件的那一行前,标识出该行的行数标号。

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-22发表,共计3612字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19348
评论数
4
阅读量
7806051
文章搜索
热门文章
开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南 大家好,我是星哥。之前介绍了腾讯云的 Code...
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板 1Panel:小白轻松构建 Web 服务与面板加固指南 哈喽,我是星哥,经常有人问我不...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

  颠覆 AI 开发效率!开源工具一站式管控 30+ 大模型 ApiKey,秘钥付费 + 负载均衡全...
CSDN,你是老太太喝粥——无齿下流!

CSDN,你是老太太喝粥——无齿下流!

CSDN,你是老太太喝粥——无齿下流! 大家好,我是星哥,今天才思枯竭,不写技术文章了!来吐槽一下 CSDN。...
【开源神器】微信公众号内容单篇、批量下载软件

【开源神器】微信公众号内容单篇、批量下载软件

【开源神器】微信公众号内容单篇、批量下载软件 大家好,我是星哥,很多人都希望能高效地保存微信公众号的文章,用于...
浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍 前言 在 AI 自动化快速发展的当下,浏览器早已不再只是...
还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手! 前言 对于个人开发者、建站新手或是想搭建测试站点的从业者...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站 - 手机博物馆 -CHAZ 3D Experience 一句话介绍:一个用 3D 方式重温...
告别Notion焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁”

告别Notion焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁”

  告别 Notion 焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁” 引言 在数字笔记工...
支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare 也瘫了连监控都挂,根因藏在哪? 最近两天的互联网堪称“故障...
12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换,告别多工具切换

12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换,告别多工具切换

12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换...
小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比

小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比

小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比 星哥玩云,带你从小白到上云高手。今天咱们就来聊聊——什...