阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

MySQL 拼接Insert批量同步异构表数据

392次阅读
没有评论

共计 2060 个字符,预计需要花费 6 分钟才能阅读完成。

需求:线上部分表数据需要同步到测试环境,但是测试环境表结构又有变更,额外添加需求:原线上和测试都有的表字段同步,其他不同的字段不用同步,置为 NULL 即可。

思路:首先导出线上表数据到测试的 test 库,考虑到两边表结构有变更,只能使用 insert tab1(xx,xx) select xx,xx from tab1 的方式插入,表比较多,手动对比所有字段工作量比较大,准备采用 SQL 拼接的方式拼接出插入的 SQL 去执行

实现过程:

1、将目标端要同步的数据库导入到测试端的 test 下面

2、创建同步信息表,并整理对应关系插入数据:

CREATE TABLE `z_tab_sync` (

`id` INT(11) NOT NULL AUTO_INCREMENT,

`from_db` VARCHAR(100) DEFAULT NULL,

`from_tab` VARCHAR(100) DEFAULT NULL,

`to_db` VARCHAR(100) DEFAULT NULL,

`to_tab` VARCHAR(100) DEFAULT NULL,

KEY `id` (`id`)

) ENGINE=INNODB AUTO_INCREMENT=18 DEFAULT CHARSET=utf8

 

其中 from_tab 是目标端的表,to_tab 是测试端的表

id  from_db  from_tab              to_db      to_tab

——  ——-  ———————  ———-  ————————-

1  test    business_history      tenancy_db  business_history

2  test    data_number            tenancy_db  data_number

3  test    house                  tenancy_db  house

4  test    house_process          tenancy_db  house_process

5  test    landlord              tenancy_db  landlord

6  test    landlord_process      tenancy_db  landlord_process

7  test    order_info            tenancy_db  decorate_order_info

8  test    order_process          tenancy_db  decorate_order_process

9  test    payment_record_stream  tenancy_db  decorate_payment_record

10  test    repayment_plan        tenancy_db  decorate_repayment_plan

11  test    shop_area              tenancy_db  shop_area

 

使用如下 SQL 拼接出要执行的 SQL

SELECT CONCAT(‘insert into `’,b.to_tab,’`(‘,GROUP_CONCAT(CONCAT(‘`’,a.column_name,’`’)),’) select ‘,GROUP_CONCAT(CONCAT(‘`’,a.column_name,’`’)),’ from ‘,a.from_tab,’;’)

FROM

(

SELECT

ts.id,

ts.from_tab,

cl.column_name

FROM

information_schema.`COLUMNS` cl

LEFT JOIN test.`z_tab_sync` ts

ON cl.table_name = ts.from_tab

WHERE table_schema = ‘test’

AND ts.id IS NOT NULL ) a,

(

SELECT

ts.id,

ts.to_tab,

cl.column_name

FROM

information_schema.`COLUMNS` cl

LEFT JOIN test.`z_tab_sync` ts

ON cl.table_name = ts.to_tab

WHERE table_schema = ‘tenancy_db’

AND ts.id IS NOT NULL ) b

WHERE a.id = b.id AND a.column_name = b.column_name

GROUP BY a.id;

 

得到的 SQL 形如

INSERT INTO `business_history` (

`settlementId`,

`businessType`,

`updateTime`,

`status`,

`createTime`,

`id`

)

SELECT

`settlementId`,

`businessType`,

`updateTime`,

`status`,

`createTime`,

`id`

FROM

business_history ;

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2017-07/145977.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-22发表,共计2060字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19348
评论数
4
阅读量
7804669
文章搜索
热门文章
开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南 大家好,我是星哥。之前介绍了腾讯云的 Code...
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板 1Panel:小白轻松构建 Web 服务与面板加固指南 哈喽,我是星哥,经常有人问我不...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
使用1Panel面板搭建属于你的AI项目环境

使用1Panel面板搭建属于你的AI项目环境

使用 1Panel 面板搭建属于你的 AI 项目环境 在 AI 项目越来越火的今天,很多朋友都想自己动手搭建一...
240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

  240 元左右!五盘位 NAS 主机,7 代 U 硬解 4K 稳如狗,拓展性碾压同价位 在 NA...
我用AI做了一个1978年至2019年中国大陆企业注册的查询网站

我用AI做了一个1978年至2019年中国大陆企业注册的查询网站

我用 AI 做了一个 1978 年至 2019 年中国大陆企业注册的查询网站 最近星哥在 GitHub 上偶然...
还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手! 前言 对于个人开发者、建站新手或是想搭建测试站点的从业者...
星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

  星哥带你玩飞牛 NAS-16:飞牛云 NAS 换桌面,fndesk 图标管理神器上线! 引言 哈...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

  开源 MoneyPrinterTurbo 利用 AI 大模型,一键生成高清短视频! 在短视频内容...
Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集 在云原生体系中,Prometheus 已成为最主流的监控与报警...
星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

  星哥带你玩飞牛 NAS-16:飞牛云 NAS 换桌面,fndesk 图标管理神器上线! 引言 哈...
星哥带你玩飞牛NAS硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话?

星哥带你玩飞牛NAS硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话?

星哥带你玩飞牛 NAS 硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话? 前言 在选择 NAS 用预...
150元打造低成本NAS小钢炮,捡一块3865U工控板

150元打造低成本NAS小钢炮,捡一块3865U工控板

150 元打造低成本 NAS 小钢炮,捡一块 3865U 工控板 一块二手的熊猫 B3 工控板 3865U,搭...