阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

MySQL 5.7 共享临时表空间及临时表改进

428次阅读
没有评论

共计 6683 个字符,预计需要花费 17 分钟才能阅读完成。

〇 前言:

在 MySQL 5.6 引用了独立 undo tablespace之后,MySQL 5.7 在 temporary tablespace 上做了改进。
已经实现 将 temporary tablespace从 ibdata(共享表空间文件)中分离。
并且可以重启重置大小,避免出现像 ibdata 难以释放的问题。

下面所有的讨论只针对 InnoDB,并且指定了 innodb_file_per_table,所用版本为 MySQL 5.7.x

〇 新特性 · 共享临时表空间 (shared temporary tablespace):

共享临时表空间出现于 MySQL 5.7.1,为的是将临时表空间从系统表空间 (system tablespace) 文件中独立出来。该共享临时表空间用于存储非压缩 InnoDB 临时表 (non-compressed InnoDB temporary tables)、关系对象(related objects)、回滚段(rollback segment) 等数据。更多信息可以参考【MySQL 5.7 Reference Manual 8.4.4 Internal Temporary Table Use in MySQL

因为存放的数据特殊性,不会参与 crash recovery,因此无需记录 redo log。

该共享临时表空间默认大小为 12MB。在实例关闭之后,将会被删除。在实例启动时则会被创建。

默认的,该共享临时表空间存放在 innodb_data_home_dir 中的 ibtmp1 里,而 innodb_data_home_dir 默认为 datadir。
所以一般该 ibtmp1 存放在 datadir 下,显然,其路径与共享表空间的路径一样,取决于 innodb_data_home_dir。

新增参数 innodb_temp_data_file_path,通过修改其值可以将该共享临时表空间的文件名,扩展大小做修改。

比如在配置文件中加上 innodb_temp_data_file_path = temp_tablespace:64M:autoextend
那么在启动实例之后,会生成一个大小为 64MB 的 temp_tablespace 文件
-rw-r—– 1 root root   67108864 Jun 20 17:29 temp_tablespace

该参数默认出现于 5.7.1,静态,默认值为 ibtmp1:12M:autoextend。

〇 新特性 · InnoDB 临时表统计信息优化

因为临时表特性,是无法在 SHOW TABLES; 与通过 information_schema.TABLES 查询到其元数据信息的。
老版本可能只能通过一些比较麻烦的方法来查看:
比如 SHOW CREATE TABLE tmp_a\G

5.7 版本之后,在 I_S 里增加了一个表来统计该表的元数据信息 INNODB_TEMP_TABLE_INFO。
可以通过 I_S 来查看该表的定义:
   

  1. SELECT * FROM information_schema.INNODB_TEMP_TABLE_INFO;
  2. +++++++
  3. | TABLE_ID | NAME          | N_COLS | SPACE  | PER_TABLE_TABLESPACE | IS_COMPRESSED |
  4. +++++++
  5. | 68       | #sql2b79_35_0 | 4      | 37    | FALSE                | FALSE         |
  6. +++++++
  7. 1 row in set (0.00 sec)

字段介绍:
TABLE_ID:表 id
NAME:表名,这个名字对应的表结构为 $NAME.frm,若该表为压缩临时表,对应的数据文件为 $NAME.ibd,反之则无。
N_COLS:列的数量,1 个被我显示创建的列,其他 3 个为 InnoDB 的隐藏列(DB_ROW_ID, DB_TRX_ID, and DB_ROLL_PTR)
SPACE:临时表的表空间 id,总是非 0,并且随实例重启动态变化,
PER_TABLE_TABLESPACE:如果为 TRUE,则表明该临时表有自己的临时表空间(有自己的 ibd 文件),如果为 FALSE,则表明该临时表用共享表空间。
IS_COMPRESSED:如果为 TRUE,则表明该表被压缩,反之则未压缩。

〇 新特性 · innodb_tmpdir

出现在 5.7.11 以后的版本,用于在做某些 Online DDL 时存放临时数据。
innodb_tmpdir 的值覆盖 tmpdir,此特性只针对于 Online DDL 生效。

〇 共享临时表空间与 tmpdir 对比:

通过 CREATE TEMPORARY TABLE … 创建的表,该表定义会放在 tmpdir 下,默认为 /tmp

tmpdir 不是个新参数,一般也不需要指定,默认值为 /tmp,此处还是提及并与共享临时表空间做一个对比。
tmpdir 参数用于指定临时文件 (temporary files) 和临时表 (temporary tables) 的存放目录。
可以设定为一个集合并做轮询调度(用: 分割),如果要用,建议指定多个磁盘目录以提高性能。

此外,对于 显式 创建的临时表 (create temporary table):
与共享临时表空间不同的是,tmpdir 存储的是 c ompressed InnoDB temporary tables 临时独立表空间

以下做一个测试,验证一下:

参数检查:

  1. SELECT @@innodb_temp_data_file_path, @@innodb_file_per_table, @@tmpdir, @@innodb_data_home_dir;
  2. +++++
  3. | @@innodb_temp_data_file_path   | @@innodb_file_per_table | @@tmpdir  | @@innodb_data_home_dir |
  4. +++++
  5. | ibtmp1:12M:autoextend          | 1                       | /tmp     | NULL                     |
  6. +++++
  7. 1 row in set (0.00 sec)

先创建两张临时表,引擎均为默认的 InnoDB,其中第一张指定行格式为 COMRESSED,第二张不压缩:

  1. root@localhost [test]> CREATE TEMPORARY TABLE compress_table (id int, name char(255)) ROW_FORMAT=COMPRESSED;
  2. Query OK, 0 rows affected (0.02 sec)
  3. root@localhost [test]> CREATE TEMPORARY TABLE uncompress_table (id int, name char(255)) ;
  4. Query OK, 0 rows affected (0.00 sec)
  5. root@localhost [test]> SHOW CREATE TABLE compress_table\G
  6. *************************** 1. row ***************************
  7.        Table: compress_table
  8. Create Table: CREATE TEMPORARY TABLE `compress_table` (
  9.   `id` int(11) DEFAULT NULL,
  10.   `name` char(255) DEFAULT NULL
  11. ) ENGINE=InnoDB DEFAULT CHARSET=latin1 ROW_FORMAT=COMPRESSED
  12. 1 row in set (0.00 sec)
  13. root@localhost [test]> SHOW CREATE TABLE uncompress_table\G
  14. *************************** 1. row ***************************
  15.        Table: uncompress_table
  16. Create Table: CREATE TEMPORARY TABLE `uncompress_table` (
  17.   `id` int(11) DEFAULT NULL,
  18.   `name` char(255) DEFAULT NULL
  19. ) ENGINE=InnoDB DEFAULT CHARSET=latin1
  20. 1 row in set (0.00 sec)

检查一下两张临时表的表定义:

  1. root@localhost [test]> SELECT * FROM information_schema.INNODB_TEMP_TABLE_INFO;
  2. +++++++
  3. | TABLE_ID | NAME        | N_COLS | SPACE  | PER_TABLE_TABLESPACE | IS_COMPRESSED |
  4. +++++++
  5. | 73       | #sqlb48_3_1 | 5      | 58    | FALSE                | FALSE         |
  6. | 72       | #sqlb48_3_0 | 5      | 59    | TRUE                 | TRUE          |
  7. +++++++
  8. 2 rows in set (0.00 sec)

根据 TABLE_ID 和 IS_COMPRESSED 和 PER_TABLE_TABLESPACE 参数
可得知,#sqlb48_3_0 为 compress_table,#sqlb48_3_1 为 uncompress_table

创建好了之后,检查 /tmp 目录,也就是 tmpdir。

  1. # ll /tmp/
  2. total 88
  3. -rw-r—– 1 root root 8586 Jun 20 16:38 #sqlb48_3_0.frm
  4. -rw-r—– 1 root root 65536 Jun 20 16:38 #sqlb48_3_0.ibd
  5. -rw-r—– 1 root root 8586 Jun 20 16:39 #sqlb48_3_1.frm
  6. -rw——-. 1 root root 0 Jan 3 2014 yum.log

可以发现,两张显式创建的临时表的【表定义文件】都被放到了 tmpdir 下。
此外,#sqlb48_3_0 也就是 IS_COMPRESSED 为 TRUE 的那张压缩表,ibd 文件也放在了 tmpdir 文件中。

那么理论上,#sqlb48_3_1 这张未压缩的表的数据放到了 ibtmp1 中,也就是放到了共享临时表空间中。

简单验证一下,验证思路为两张表插入大量数据。
并分别检查 ibtmp1 文件和 #sqlb48_3_0.ibd 文件的大小变化:

对 compress_table 表:

  1. root@localhost [test]> INSERT INTO compress_table SELECT id, name FROM a limit 50000;
  2. Query OK, 50000 rows affected (1.20 sec)
  3. Records: 50000 Duplicates: 0 Warnings: 0
  4. (a 表为一个测试数据用表)
  5. root@localhost [test]> \! ls -l /tmp
  6. -rw-r—–   1 root root 11534336 Jun 20 16:54 #sqlb48_3_0.ibd
  7. root@localhost [test]> INSERT INTO compress_table SELECT id, name FROM a limit 20000; 
  8. Query OK, 20000 rows affected (0.53 sec)
  9. Records: 20000  Duplicates: 0  Warnings: 0
  10. (a 表为一个测试数据用表)
  11. root@localhost [test]> \! ls -l /tmp/*.ibd
  12. -rw-r—–  1 root root 14680064 Jun 20 16:55 #sqlb48_3_0.ibd

可以发现,针对压缩的 InnoDB 临时表,其数据放在 tmpdir 下的 ibd 文件中

再简单测试一下非压缩的 InnoDB 临时表:

  1. root@localhost [test]> \! ls -l /data/mysql-data/mysql57-3357/datadir/ibtmp1
  2. -rw-r—– 1 root root 12582912 Jun 20 16:57 /data/mysql-data/mysql57-3357/datadir/ibtmp1
  3. root@localhost [test]> INSERT INTO uncompress_table SELECT id, name FROM a limit 50000;
  4. Query OK, 50000 rows affected (0.53 sec)
  5. Records: 50000 Duplicates: 0 Warnings: 0
  6. root@localhost [test]> \! ls -l /data/mysql-data/mysql57-3357/datadir/ibtmp1
  7. -rw-r—– 1 root root 79691776 Jun 20 17:02 /data/mysql-data/mysql57-3357/datadir/ibtmp1

显然,非压缩 的 InnoDB 临时表将数据存放在了共享临时表空间。

tmpdir 下的东西和共享临时表空间最大的 共同点 以及特性就是,实例关闭之后,将会被删除。

 

〇 slave_load_tmpdir

该参数也不是 5.7 的新伙计,默认值取决于 tmpdir 的参数。
用于存放 slave 上产生的特殊的临时文件:
在 master 上出现 LOAD DATA INFILE … 时,被记录到 binlog 并发送给 slave,在 SQL thread 从 relaylog 提取数据时,写入指定的目录下,然后执行 LOAD DATA LOCAL INFILE …,结束之后则会删掉这个文件。
增加这个参数是为了复制的可靠性和数据一致性。
如果默认放在 tmpdir 下,如果此时遭遇重启,文件丢失,则会导致复制失败。
如果 master 有使用这样的语句,建议将该目录指定在基于可靠存储设备上。

〇 可能遇到的问题:

MySQL 5.7.6 以后,开始支持 32KB 和 64KB 的 page size,若将 page size 修改为 32 或者 64KB,则不能使用 ROW_FORMAT=COMPRESSED,该行格式能支持的最大 page size 为 16KB。

若要保证ROW_FORMAT=COMPRESSED 生效,innodb_file_format 必须设置为Barracuda。

〇 参考文档:

MySQL 5.7 Reference Manual 5.1.3 Server Option and Variable Reference
MySQL 5.7 Reference Manual 14.4.12 Temporary Tablespace
MySQL 5.7 Reference Manual 14.15.7 InnoDB INFORMATION_SCHEMA Temporary Table Information Table

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-06/145039.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-22发表,共计6683字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19350
评论数
4
阅读量
7955668
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
安装并使用谷歌AI编程工具Antigravity(亲测有效)

安装并使用谷歌AI编程工具Antigravity(亲测有效)

  安装并使用谷歌 AI 编程工具 Antigravity(亲测有效) 引言 Antigravity...
你的云服务器到底有多强?宝塔跑分告诉你

你的云服务器到底有多强?宝塔跑分告诉你

你的云服务器到底有多强?宝塔跑分告诉你 为什么要用宝塔跑分? 宝塔跑分其实就是对 CPU、内存、磁盘、IO 做...
三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

  三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Andr...
星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛 NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手! 作为动漫爱好者,你是否还在为...
恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击 PHP-FPM(FastCGl Process M...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍 前言 在 AI 自动化快速发展的当下,浏览器早已不再只是...
星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定! 前言 作为 NAS 玩家,你是否总被这些...
每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站 - 手机博物馆 -CHAZ 3D Experience 一句话介绍:一个用 3D 方式重温...
还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手! 前言 对于个人开发者、建站新手或是想搭建测试站点的从业者...
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...