阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

如何解决MySQL主从复制太慢的问题

278次阅读
没有评论

共计 2014 个字符,预计需要花费 6 分钟才能阅读完成。

导读 总结一下,MySQL 并行复制策略主要是有三种思想:按照库的级别粒度并行执行,用于决定分发策略的 hash 表里,key 就是数据库名。按照行级别,根据 id、唯一索引、value、库名这些来计算 hash 值,做分组标示根据 redo log 持久化原理,同一个 commit 组 或者 同时进入 prepare 或者 commit 表示可以同步执行。

如何解决 MySQL 主从复制太慢的问题

mysql 主从同步延迟原因

导致备库延迟的原因主要有如下几种:

  • 通常备库所在机器的性能要比主库所在的机器性能差,执行备份自然会更慢。
  • 备库的读压力大。在备库过多的执行繁重的查询任务。
  • 大事务。因为主库上必须等事务执行完成才会写入 binlog,再传给备库。一次性地用 delete 语句删除太多数据、表 DDL 都可能造成延迟。
  • 主库是多线程操作,而从库却只有一个线程在执行复制。
  • 主从同步延迟解决方案

    解决方案:

  • 提升从库物理机的配置,性能差异不要太大。
  • 业务的持久化层的实现采用分库架构,mysql 服务可平行扩展,分散压力。
  • 采用读写分离,分散主库压力。
  • 加入缓存如 Redis 等,降低 mysql 的读压力。
  • 避免执行大事务等费时的操作,可以将事务内容拆开执行。
  • 使用同步并行复制方案 MTS
  • 并行复制

    从 MySQL5.6 开始支持并行复制,这就解决了之前复制速度缓慢的问题。coordinator 就是原来的 sql_thread, 他负责读取中转日志和分发事务。真正更新日志的,变成了 worker 线程。work 线程的个数由参数 slave_parallel_workers 决定的。既然是并行就一定会有数据一致性的问题,两个不同的事务如果在不同的 work 中同时执行,顺序的影响也会造成结果不同。

    如何解决 MySQL 主从复制太慢的问题

    所以在 coordinator 分发任务的时候,要满足以下这两个基本要求:

    不能造成更新覆盖。这就要求更新同一行的两个事务,必须被分发到同一个 worker 中。
    同一个事务不能被拆开,必须放到同一个 worker 中。
    各个版本的多线程复制,都遵循了这两条基本原则。

    MySQL 5.6 版本策略

    官方 MySQL5.6 版本,支持了并行复制,只是支持的粒度是按库并行。用于决定分发策略的 hash 表里,key 就是数据库名,同一个数据库需要在同一个 worker 中串行执行,这就避免了事务之间相互影响的问题。

    MariaDB 策略

    MariaDB 的并行复制策略利用 redo log 组提交 (group commit) 优化的特性:能够在同一组里提交的事务,一定不会修改同一行。所以可以按照食物的 commit—_id 来分组。

    在实现上,MariaDB 是这么做的:

    在一组里面一起提交的事务,有一个相同的 commit_id,下一组就是 commit_id+1;
    commit_id 直接写到 binlog 里面;传到备库应用的时候,相同 commit_id 的事务分发到多个 worker 执行;
    这一组全部执行完成后,coordinator 再去取下一批。

    MySQL 5.7 策略

    MySQL5.7 中对 MariaDB 多策略进行了优化。因为同时处于 prepare 状态的事务,在备库执行时是可以并行的,此时的 redolog 已经经过了并行验证,所以从库也可以执行。具体步骤不做赘述,参考 MariaDB 策略。

    MySQL 5.7.22 的并行复制策略

    在 2018 年 4 月份发布的 MySQL 5.7.22 版本里(最新 5.7.37),MySQL 增加了一个新的并行复制策略,基于 WRITESET 的并行复制。相应地,新增了一个参数 binlog-transaction-dependency-tracking,用来控制是否启用这个新策略。这个参数的可选值有以下三种。

  • COMMIT_ORDER,表示的就是前面介绍的,根据同时进入 prepare 和 commit 来判断是否可以并行的策略。
  • WRITESET,表示的是对于事务涉及更新的每一行,计算出这一行的 hash 值,组成集合 writeset。如果两个事务没有操作相同的行,也就是说它们的 writeset 没有交集,就可以并行。
  • WRITESET_SESSION,是在 WRITESET 的基础上多了一个约束,即在主库上同一个线程先后执行的两个事务,在备库执行的时候,要保证相同的先后顺序。
  • 当然为了唯一标识,这个 hash 值是通过“库名 + 表名 + 索引名 + 值”计算出来的。如果一个表上除了有主键索引外,还有其他唯一索引,那么对于每个唯一索引,insert 语句对应的 writeset 就要多增加一个 hash 值。

    总结

    总结一下,MySQL 并行复制策略主要是有三种思想:

    按照库的级别粒度并行执行,用于决定分发策略的 hash 表里,key 就是数据库名。

    按照行级别,根据 id、唯一索引、value、库名这些来计算 hash 值,做分组标示

    根据 redo log 持久化原理,同一个 commit 组 或者 同时进入 prepare 或者 commit 表示可以同步执行。

    阿里云 2 核 2G 服务器 3M 带宽 61 元 1 年,有高配

    腾讯云新客低至 82 元 / 年,老客户 99 元 / 年

    代金券:在阿里云专用满减优惠券

    正文完
    星哥玩云-微信公众号
    post-qrcode
     0
    星锅
    版权声明:本站原创文章,由 星锅 于2024-07-24发表,共计2014字。
    转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
    【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
    阿里云-最新活动爆款每日限量供应
    评论(没有评论)
    验证码
    【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

    星哥玩云

    星哥玩云
    星哥玩云
    分享互联网知识
    用户数
    4
    文章数
    19350
    评论数
    4
    阅读量
    7963572
    文章搜索
    热门文章
    星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

    星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

    星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
    星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

    星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

    星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
    我把用了20年的360安全卫士卸载了

    我把用了20年的360安全卫士卸载了

    我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
    再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

    再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

    再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
    飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

    飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

    飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
    阿里云CDN
    阿里云CDN-提高用户访问的响应速度和成功率
    随机文章
    在Windows系统中通过VMware安装苹果macOS15

    在Windows系统中通过VMware安装苹果macOS15

    在 Windows 系统中通过 VMware 安装苹果 macOS15 许多开发者和爱好者希望在 Window...
    让微信公众号成为 AI 智能体:从内容沉淀到智能问答的一次升级

    让微信公众号成为 AI 智能体:从内容沉淀到智能问答的一次升级

    让微信公众号成为 AI 智能体:从内容沉淀到智能问答的一次升级 大家好,我是星哥,之前写了一篇文章 自己手撸一...
    支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

    支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

    支付宝、淘宝、闲鱼又双叕崩了,Cloudflare 也瘫了连监控都挂,根因藏在哪? 最近两天的互联网堪称“故障...
    三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

    三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

      三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Andr...
    星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

    星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

    星哥带你玩飞牛 NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手! 作为动漫爱好者,你是否还在为...

    免费图片视频管理工具让灵感库告别混乱

    一言一句话
    -「
    手气不错
    300元就能买到的”小钢炮”?惠普7L四盘位小主机解析

    300元就能买到的”小钢炮”?惠普7L四盘位小主机解析

      300 元就能买到的 ” 小钢炮 ”?惠普 7L 四盘位小主机解析 最近...
    颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

    颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

      颠覆 AI 开发效率!开源工具一站式管控 30+ 大模型 ApiKey,秘钥付费 + 负载均衡全...
    星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

    星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

    星哥带你玩飞牛 NAS-14:解锁公网自由!Lucky 功能工具安装使用保姆级教程 作为 NAS 玩家,咱们最...
    多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞定

    多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞定

    多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞...
    安装Black群晖DSM7.2系统安装教程(在Vmware虚拟机中、实体机均可)!

    安装Black群晖DSM7.2系统安装教程(在Vmware虚拟机中、实体机均可)!

    安装 Black 群晖 DSM7.2 系统安装教程(在 Vmware 虚拟机中、实体机均可)! 前言 大家好,...