共计 3079 个字符，预计需要花费 8 分钟才能阅读完成。

开源的数据同步中间件 -DBSyncer

项目介绍

DBSyncer 是一款开源的数据同步中间件，提供 Mysql、Oracle、SqlServer、Elasticsearch(ES)、Kafka、SQL(Mysql/Oracle/SqlServer)等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。

开源地址：https://gitee.com/ghi/dbsyncer

• 组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，任意搭配表同步映射关系
• 实时监控，驱动全量或增量实时同步运行状态、结果、同步日志和系统日志
• 开发插件，自定义转化同步逻辑

安装部署

系统介绍

centos7
​
ip:192.168.1.8
​
需要部署安装 JDK 和 Maven

安装 JDK 1.8

如果安装了可以忽略

# mkdir /data/software/
# cd /data/software/
# wget http://js.funet8.com/centos_software/jdk-8u211-linux-x64.tar.gz
# mkdir /usr/local/java/
# tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/java/
​
# echo '
export JAVA_HOME=/usr/local/java/jdk1.8.0_211
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
'>> /etc/profile
​
# source /etc/profile
​
# ln -s /usr/local/java/jdk1.8.0_211/bin/java /usr/bin/java
​
# java -version

安装 maven

# mkdir /data/maven
# cd /data/maven
# wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz
备用下载地址：
# wget http://js.funet8.com/centos_software/apache-maven-3.5.4-bin.tar.gz
# tar -zxvf apache-maven-3.5.4-bin.tar.gz
​
配置 maven： 
# vim /etc/profile
在配置文件配置中加上：
​
export MAVEN_HOME=/data/maven/apache-maven-3.5.4
export PATH=$MAVEN_HOME/bin:$PATH
​
使配置立即生效
# source  /etc/profile
​
# mvn --version
Apache Maven 3.5.4

下载安装包

https://gitee.com/ghi/dbsyncer/releases，这里我下载 v1.1.7-Beta 版本

# cd /data/wwwroot/web/
# wget http://js.funet8.com/centos_software/dbsyncer-v1.1.7-Beta.tar.gz
解压 
# tar -zxvf dbsyncer-v1.1.7-Beta.tar.gz 
# cd dbsyncer-v1.1.7-Beta
 编译包
# sh build.sh 
...
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 03:17 min
[INFO] Finished at: 2022-04-28T16:40:21+08:00
[INFO] ------------------------------------------------------------------------
‘/data/wwwroot/web/dbsyncer-v1.1.7-Beta/dbsyncer-web/target/dbsyncer-1.1.7-Beta.zip’->‘/data/wwwroot/web/dbsyncer-v1.1.7-Beta/dbsyncer-1.1.7-Beta.zip’
​
# unzip dbsyncer-1.1.7-Beta.zip 
# cd dbsyncer-1.1.7-Beta 
# ./bin/startup.sh

查看端口

# netstat -tunpl|grep 18686
tcp6       0      0 :::18686                :::*                    LISTEN      5754/java    

开放端口(非必要)

iptables -A INPUT -p tcp --dport 18686 -j ACCEPT
service iptables save
systemctl restart iptables.service

打开浏览器访问

http://IP:18686

http://192.168.1.8:18686/

账号和密码

admin/admin

同步 MySQL 数据库

192.168.1.6:3306 同步到 ---> 192.168.1.8:61921
​
192.168.1.6:61922
root
123456
​
192.168.1.8:61921
root
123456
同步数据库 dzzoffice
​
mysql -u root -h 192.168.1.6 -P61922 -p'123456'
mysql -u root -h 192.168.1.8 -P61921 -p'123456'
查看 binlog 日志
> show binary logs;

目标库的 server_id 不能为 1

mysqladmin -u root -h 192.168.1.8 -p123456 -P61921 shutdown
修改 mysql 的配置文件 
server_id=1 改为 server_id=100
 再次启动
/usr/bin/mysqld_safe --defaults-file=/data/mysql/etc/61921.cnf &

添加连接

进入后台点击“添加连接”

添加驱动

启动

优点：开源系统，使用上类似于阿里云的 DTS，如果作为数据同步使用还可以，作为生产环境就需要多测试了

主要用于 A 库的某数据库同步到 B 库

增量同步配置（源库）

Mysql

• Dump Binlog 二进制日志。Master 同步 Slave, 创建 IO 线程读取数据，写入 relaylog，基于消息订阅捕获增量数据。
• 配置

修改 my.ini 文件

# 服务唯一 ID
server_id=1
log-bin=mysql_bin
binlog-format=ROW
max_binlog_cache_size = 256M
max_binlog_size = 512M
expire_logs_days = 7
# 监听同步的库, 多个库使用英文逗号“,”拼接
replicate-do-db=test

Oracle

• CDN 注册订阅。监听增删改事件，得到 rowid，根据 rowid 执行 SQL 查询，得到变化数据。
• 授予账号监听权限, 同时要求目标源表必须定义一个长度为 18 的 varchar 字段，通过接收 rowid 值实现增删改操作。

grant change notification to 你的账号

定时

假设源表数据格式

预览

驱动管理

驱动详情

驱动表字段关系配置

监控

上传插件