阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

悲剧啊!Mysql的上古BUG!!!

272次阅读
没有评论

共计 2263 个字符,预计需要花费 6 分钟才能阅读完成。

导读 这是 MySQL8.0 修复的上古 bug 之一,在 2003 年由 Percona 的 CEO(当时应该还没 Percona 吧)提出的 bug#199,光看这 bug 号就扑面而来一股上古时代的沧桑气息。

悲剧啊!Mysql 的上古 BUG!!!
问题的本质在于 InnoDB 初始化 AUTO_INCREMENT 的方式,在每次重启时,总是算出表上最大的自增值作为最大值,下一次分配从该值开始。这意味着如果在 btree 右侧叶节点大量删除记录,重启后,自增值可能被重用。这在很多场景下可能导致问题,包括但不限于:主备切换、历史数据迁移等场景。在 bug#199 下面一大堆的回复里,可以看到大量的同行抱怨。

官方的修复就比较优雅了,不改变任何现有的存储,而是通过 redo log 来进行恢复。该补丁基于 WL#7816 的框架实现的,要想搞懂这个补丁,得先看看 WL#7816 做了哪些改动,为了解决这个问题,InnoDB 使用一个引擎私有的系统表 + 特殊 redo log 的方式,在引擎内部自己解决 corruption 标记持久化的问题。其大概思路为:

  1. 当发现索引损坏时,写入一条 redo log,但不更新数据词典
  2. 引入一个 innodb 引擎私有的系统表,称为 DD Buffer Table,每次 checkpoint 之前会将索引 corruption bit 存入其中。
  3. 在崩溃恢复时,同时从 redo log 和 DD Buffer Table 中读取索引 corruption bit, 合并结果,并标记内存中的表和索引对象。
初始化 Persister

目前 Persister 的类型仅有两种,一个用于 corruption bit 的持久化,一个用于自增列的持久化,对应的类为:

Persister:
    |-- CorruptedIndexPersister
    |-- AutoIncPersister

Persister 对应全局对象 dict_persist_t::persisters,可以通过类型 persistent_type_t 来找到对应的 Persister,目前仅有 PM_INDEX_CORRUPTED 及 PM_TABLE_AUTO_INC,但从注释来看,未来肯定会做更多的扩展,Persister 在启动时调用函数 dict_persist_init 进行初始化。

新的系统表

新的系统表名为 SYS_TABLE_INFO_BUFFER,对应管理类为 DDTableBuffer,指针存储在 dict_persist->table_buffer 中。

系统表包含两个列:TABLE_ID 及 BLOB 类型的 METADATA(ref DDTableBuffer::init),METADATA 列包含了所有需要持久化的元数据。

回写 DDTableBuffer

有几种情况会将内存修改回写到 DDTableBuffer 中:

  1. 在做 checkpoint(log_checkpoint) 之前,所有在 dirty_dict_tables 链表上的表对象,对应 persist metadata 都需要回写到 DDTableBuffer 中 (dict_persist_to_dd_table_buffer)
  2. 从内存中驱逐一个表对象时 (dict_table_remove_from_cache_low),如果需要的话也会去尝试回写。
  3. 在对包含自增列的表做 DDL 后,需要持久化 counter,在如下函数中,会调用 dict_table_set_and_persist_autoinc:
ha_innobase::commit_inplace_alter_table
create_table_info_t::initialize_autoinc()
// for example: alter table..auto_increment = ??
row_rename_table_for_mysql;
// rename from temporary table to normal table

回写的过程也比较简单 (dict_table_persist_to_dd_table_buffer_low):

  1. 通过表对象初始化需要回写的 Metadata 数据: corrupt index 及 autoinc 值 (dict_init_dynamic_metadata)
  2. 构建记录值,插入 DDTableBuffer 系统表 (DDTableBuffer::replace(), 如果记录存在的话,则进行悲观更新操作
  3. 表对象的 diry_status 修改成 METADATA_BUFFERED,表示有 buffer 的元数据
Recovery and Startup

在崩溃恢复时,当解析到日志 MLOG_TABLE_DYNAMIC_META 时 (MetadataRecover::parseMetadataLog),会进行解析并将解析得到的数据存储到集合中 (MetadataRecover::m_tables),如果存在相同 table-id 的项,就进行替换,确保总是最新的。

在完成 recovery 后,搜集到的 meta 信息暂时存储到 srv_dict_metadata 中,随后进行 apply(srv_dict_recover_on_restart),apply 的过程也比较简单,载入表对象,然后对表对象进行更新(MetadataRecover::apply),例如对于 autoinc 列,就总是选择更大的那个值。

最后

这个 bug 已经挂了相当长的时间,不排除把这个 bug 当作 InnoDB 的“特性”的同学,一定要注意到这个改动 …

阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年,有高配

腾讯云新客低至 82 元 / 年,老客户 99 元 / 年

代金券:在阿里云专用满减优惠券

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2024-07-24发表,共计2263字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7997406
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的NAS中!

星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的NAS中!

星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的 NAS 中! 大家对「数据安全感」的需求越来越高 ...
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...
如何免费使用强大的Nano Banana Pro?附赠邪修的用法

如何免费使用强大的Nano Banana Pro?附赠邪修的用法

如何免费使用强大的 Nano Banana Pro?附赠邪修的用法 前言 大家好,我是星哥,今天来介绍谷歌的 ...
300元就能买到的”小钢炮”?惠普7L四盘位小主机解析

300元就能买到的”小钢炮”?惠普7L四盘位小主机解析

  300 元就能买到的 ” 小钢炮 ”?惠普 7L 四盘位小主机解析 最近...
免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

  免费无广告!这款跨平台 AI RSS 阅读器,拯救你的信息焦虑 在算法推荐主导信息流的时代,我们...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

  开源 MoneyPrinterTurbo 利用 AI 大模型,一键生成高清短视频! 在短视频内容...
开发者福利:免费 .frii.site 子域名,一分钟申请即用

开发者福利:免费 .frii.site 子域名,一分钟申请即用

  开发者福利:免费 .frii.site 子域名,一分钟申请即用 前言 在学习 Web 开发、部署...
12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换,告别多工具切换

12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换,告别多工具切换

12.2K Star 爆火!开源免费的 FileConverter:右键一键搞定音视频 / 图片 / 文档转换...
每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站 - 手机博物馆 -CHAZ 3D Experience 一句话介绍:一个用 3D 方式重温...
星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的NAS中!

星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的NAS中!

星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的 NAS 中! 大家对「数据安全感」的需求越来越高 ...