MySQL数据同步原理及实现

427次阅读

共计 10680 个字符，预计需要花费 27 分钟才能阅读完成。

MySQL 数据同步方式：
Synchronous Replication 同步复制
Asynchronous Replication 异步复制
Semisynchronous Replication 半同步复制

同步复制：指的是客户端连接到 MySQL 主服务器写入一段数据,MySQL 主服务器同步给 MySQL 从服务器需要等待从服务器发出同步完成的响应才返回客户端 OK, 这其中等待同步的过程是阻塞的, 如果有 N 台从服务器, 效率极低
异步复制: 指的是客户端连接到 MySQL 主服务器写入一段数据,MySQL 主服务器将写入的数据发送给 MySQL 从服务器, 然后直接返回客户端 OK, 可能从服务器的数据会和主服务不一致
半同步复制: 指的是客户端连接到 MySQL 主服务器写入一段数据, MySQL 主服务器只将数据同步复制给其中一台从服务器, 半同步复制给其他的从服务器, 来达到其中一台从服务器完全同步的效果

MySQL 复制原理

MySQL 数据同步原理及实现

建立主从关系后, 主服务器如果有数据修改之后, BINLOG 会更新, 从服务通过 IO-Thread 读取主服务器的 BINLOG 到本地的 Relay Log, 再通过 SQL-Thread 对其进行重放(replay), 从而同步到本地

MySQL 简单复制

拓扑：

MySQL 数据同步原理及实现

Master 配置文件
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

symbolic-links=0
skip_name_resolve = ON
innodb_file_per_table = ON

server_id=1 #主服务器 ID
log_bin=master-bin #开启二进制日志

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

!includedir /etc/my.cnf.d

Slave 配置文件
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

symbolic-links=0

skip_name_resolve = ON
innodb_file_per_table = ON

server_id=2 #从服务器 ID
relay_log=relay-log #开启中继日志

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

!includedir /etc/my.cnf.d

主 Master 上创建用户并赋予权限
MariaDB [(none)]> GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ‘cpuser’@’10.1.%.%’ IDENTIFIED BY ‘
userpass’;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

配置 Slave

MariaDB [(none)]> CHANGE MASTER TO MASTER_HOST=’10.1.72.100′,MASTER_USER=’cpuser’,MASTER_PASSWORD=’userpass’,MASTER_LOG_FILE=’master-bin.000001′,MASTER_LOG_POS=245;
Query OK, 0 rows affected (0.03 sec)

MariaDB [(none)]> SLAVE START; #启动 IO 和 SQL Thread
Query OK, 0 rows affected (0.02 sec)

MariaDB [(none)]> SHOW SLAVE STATUS\G #查看相应信息
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.1.72.100
Master_User: cpuser
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: master-bin.000001
Read_Master_Log_Pos: 245
Relay_Log_File: relay-log.000002
Relay_Log_Pos: 530
Relay_Master_Log_File: master-bin.000001
Slave_IO_Running: Yes #IO Thread 已启动
Slave_SQL_Running: Yes #SQL Thread 已启动
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 245
Relay_Log_Space: 818
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 1
1 row in set (0.00 sec)

测试：
在 Master 上创建一个数据库

MySQL 数据同步原理及实现

Slave 验证

MySQL 数据同步原理及实现

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2017-03/142272p2.htm

主主复制配置
拓扑

MySQL 数据同步原理及实现

互为主从：两个节点各自都要开启 binlog 和 relay log

配置文件
[MySQLd]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

symbolic-links=0

skip_name_resolve = ON
innodb_file_per_table = ON

server_id=1 #服务器 ID
log_bin=mysql-bin #开启二进制日志
relay_log=relay-log #开启中继日志

auto_increment_offset=1
auto_increment_increment=2

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

!includedir /etc/my.cnf.d

都授权有复制全的用户账号，并把对方指定为主节点

Master1 的配置
MariaDB [(none)]> GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ‘cpuser’@’10.1.72.200’ IDENTIFIED BY ‘userpass’;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> SHOW MASTER STATUS;
+——————+———-+————–+——————+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+——————+———-+————–+——————+
| mysql-bin.000003 | 506 | | |
+——————+———-+————–+——————+
1 row in set (0.01 sec)

MariaDB [(none)]> CHANGE MASTER TO MASTER_HOST=’10.1.72.200′,MASTER_USER=’cpuser’,MASTER_PASSWORD=’userpass’,MASTER_LOG_FILE=’mysql-bin.000003′,MASTER_LOG_POS=506;
Query OK, 0 rows affected (0.03 sec)

Master2 的配置
12345678910111213141516 MariaDB [(none)]> GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ‘cpuser’@’10.1.72.100’ IDENTIFIED BY ‘userpass’;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> CHANGE MASTER TO MASTER_HOST=’10.1.72.100′,MASTER_USER=’cpuser’,MASTER_PASSWORD=’userpass’,MASTER_LOG_FILE=’mysql-bin.000003′,MASTER_LOG_POS=506;
Query OK, 0 rows affected (0.04 sec)

MariaDB [(none)]> show master status;
+——————+———-+————–+——————+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+——————+———-+————–+——————+
| mysql-bin.000003 | 506 | | |
+——————+———-+————–+——————+
1 row in set (0.01 sec)

在两个节点上同时启动 IO 和 SQL Thread
MariaDB [(none)]> START SLAVE;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> SHOW SLAVE STATUS\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.1.72.100
Master_User: cpuser
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 506
Relay_Log_File: relay-log.000002
Relay_Log_Pos: 529
Relay_Master_Log_File: mysql-bin.000003
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 506
Relay_Log_Space: 817
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 1
1 row in set (0.00 sec)

验证
在 Master1 上创建数据库 test1，可同步至 Master2 上，相反在 Master2 上创建 test2 也可同步至 Master1

MySQL 数据同步原理及实现

半同步复制配置

拓扑
MySQL 数据同步原理及实现

半同步的插件在 /usr/lib64/mysql/plugin 下, master 用的 semisync_master.so，slave 用的 semisync_slave.so

配置 Master

MariaDB [(none)]> INSTALL PLUGIN rpl_semi_sync_master SONAME ‘semisync_master.so’;
Query OK, 0 rows affected (0.01 sec)

MariaDB [(none)]> SET GLOBAL rpl_semi_sync_master_enabled=1;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> SET GLOBAL rpl_semi_sync_master_timeout=2000;
Query OK, 0 rows affected (0.00 sec)

配置 Slave
MariaDB [(none)]> INSTALL PLUGIN rpl_semi_sync_slave SONAME ‘semisync_slave.so’;
Query OK, 0 rows affected (0.03 sec)

MariaDB [(none)]> SET GLOBAL rpl_semi_sync_slave_enabled=1;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> STOP SLAVE;
Query OK, 0 rows affected (0.02 sec)

MariaDB [(none)]> START SLAVE;
Query OK, 0 rows affected (0.00 sec)

验证

MySQL 数据同步原理及实现

本文永久更新链接地址：http://www.linuxidc.com/Linux/2017-03/142272.htm

MySQL 数据同步方式：
Synchronous Replication 同步复制
Asynchronous Replication 异步复制
Semisynchronous Replication 半同步复制

同步复制：指的是客户端连接到 MySQL 主服务器写入一段数据,MySQL 主服务器同步给 MySQL 从服务器需要等待从服务器发出同步完成的响应才返回客户端 OK, 这其中等待同步的过程是阻塞的, 如果有 N 台从服务器, 效率极低
异步复制: 指的是客户端连接到 MySQL 主服务器写入一段数据,MySQL 主服务器将写入的数据发送给 MySQL 从服务器, 然后直接返回客户端 OK, 可能从服务器的数据会和主服务不一致
半同步复制: 指的是客户端连接到 MySQL 主服务器写入一段数据, MySQL 主服务器只将数据同步复制给其中一台从服务器, 半同步复制给其他的从服务器, 来达到其中一台从服务器完全同步的效果

MySQL 复制原理

MySQL 数据同步原理及实现

建立主从关系后, 主服务器如果有数据修改之后, BINLOG 会更新, 从服务通过 IO-Thread 读取主服务器的 BINLOG 到本地的 Relay Log, 再通过 SQL-Thread 对其进行重放(replay), 从而同步到本地

MySQL 简单复制

拓扑：

MySQL 数据同步原理及实现

Master 配置文件
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

symbolic-links=0
skip_name_resolve = ON
innodb_file_per_table = ON

server_id=1 #主服务器 ID
log_bin=master-bin #开启二进制日志

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

!includedir /etc/my.cnf.d

Slave 配置文件
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

symbolic-links=0

skip_name_resolve = ON
innodb_file_per_table = ON

server_id=2 #从服务器 ID
relay_log=relay-log #开启中继日志

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

!includedir /etc/my.cnf.d

主 Master 上创建用户并赋予权限
MariaDB [(none)]> GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ‘cpuser’@’10.1.%.%’ IDENTIFIED BY ‘
userpass’;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

配置 Slave

MariaDB [(none)]> CHANGE MASTER TO MASTER_HOST=’10.1.72.100′,MASTER_USER=’cpuser’,MASTER_PASSWORD=’userpass’,MASTER_LOG_FILE=’master-bin.000001′,MASTER_LOG_POS=245;
Query OK, 0 rows affected (0.03 sec)

MariaDB [(none)]> SLAVE START; #启动 IO 和 SQL Thread
Query OK, 0 rows affected (0.02 sec)

MariaDB [(none)]> SHOW SLAVE STATUS\G #查看相应信息
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.1.72.100
Master_User: cpuser
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: master-bin.000001
Read_Master_Log_Pos: 245
Relay_Log_File: relay-log.000002
Relay_Log_Pos: 530
Relay_Master_Log_File: master-bin.000001
Slave_IO_Running: Yes #IO Thread 已启动
Slave_SQL_Running: Yes #SQL Thread 已启动
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 245
Relay_Log_Space: 818
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 1
1 row in set (0.00 sec)