Keepalived+MySQL双主搭建

114次阅读

共计 5873 个字符，预计需要花费 15 分钟才能阅读完成。

首先要简单了解一下 keepalived：

Keepalived 是 Linux 下一个轻量级别的高可用解决方案。高可用 (High Avalilability,HA)，其实两种不同的含义：广义来讲，是指整个系统的高可用行，狭义的来讲就是之主机的冗余和接管，它与 HeartBeat RoseHA 实现相同类似的功能，都可以实现服务或者网络的高可用，但是又有差别，HeartBeat 是一个专业的、功能完善的高可用软件，它提供了 HA 软件所需的基本功能，比如：心跳检测、资源接管，检测集群中的服务，在集群节点转移共享 IP 地址的所有者等等。HeartBeat 功能强大，但是部署和使用相对比较麻烦，与 HeartBeat 相比，Keepalived 主要是通过虚拟路由冗余来实现高可用功能，虽然它没有 HeartBeat 功能强大，但是 Keepalived 部署和使用非常的简单，所有配置只需要一个配置文件即可以完成。

keepalived 的工作原理如下：

Keepalived 工作在 TCP/IP 参考模型的三层、四层、五层，也就是分别为：网络层，传输层和应用层，根据 TCP、IP 参数模型隔层所能实现的功能，Keepalived 运行机制如下：

在网络层：我们知道运行这 4 个重要的协议，互联网络 IP 协议，互联网络可控制报文协议 ICMP、地址转换协议 ARP、反向地址转换协议 RARP，在网络层 Keepalived 在网络层采用最常见的工作方式是通过 ICMP 协议向服务器集群中的每一个节点发送一个 ICMP 数据包 (有点类似与 Ping 的功能)，如果某个节点没有返回响应数据包，那么认为该节点发生了故障，Keepalived 将报告这个节点失效，并从服务器集群中剔除故障节点。

在传输层：提供了两个主要的协议：传输控制协议 TCP 和用户数据协议 UDP，传输控制协议 TCP 可以提供可靠的数据输出服务、IP 地址和端口，代表 TCP 的一个连接端，要获得 TCP 服务，需要在发送机的一个端口和接收机的一个端口上建立连接，而 Keepalived 在传输层里利用了 TCP 协议的端口连接和扫描技术来判断集群节点的端口是否正常，比如对于常见的 WEB 服务器 80 端口。或者 SSH 服务 22 端口，Keepalived 一旦在传输层探测到这些端口号没有数据响应和数据返回，就认为这些端口发生异常，然后强制将这些端口所对应的节点从服务器集群中剔除掉。

在应用层：可以运行 FTP，TELNET，SMTP，DNS 等各种不同类型的高层协议，Keepalived 的运行方式也更加全面化和复杂化，用户可以通过自定义 Keepalived 工作方式，例如：可以通过编写程序或者脚本来运行 Keepalived，而 Keepalived 将根据用户的设定参数检测各种程序或者服务是否允许正常，如果 Keepalived 的检测结果和用户设定的不一致时，Keepalived 将把对应的服务器从服务器集群中剔除

看一下基本环境

server1：MySQL5.7.14+keepalived1.2+172.16.16.34
server2：MySQL5.7.14+keepalived1.2+172.16.16.35
VIP：172.16.16.20

我们两台机器是搭建的 MySQL 双主，我们平时只会通过 VIP 对 MySQL 进行读写，我们要实现的是，当 VIP 所在的主机的 MySQLDOWN 掉以后，VIP 能够切换到另外一台机器上并且继续提供服务。

我们假设 MySQL 双主已经搭建成功了，如果还不会的话，可以参考 MySQL 二进制安装双主结构：http://www.linuxidc.com/Linux/2017-06/144617.htm 与 http://www.linuxidc.com/Linux/2017-05/144043.htm

下面开始搭建我们的环境

1：安装以及简单配置 keepalived

yum install -y keepalived

安装以后可以查看一下安装了那些文件：

[root@localhost maxiangqian]# rpm -ql keepalived

然后配置一下最基本的配置文件：

[root@localhost maxiangqian]# vi /etc/keepalived/keepalived.conf
vrrp_instance VI_20 {
state BACKUP
nopreempt
interface eth0
virtual_router_id 20
priority 100
advert_int 5
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {172.16.16.20
}
}

此配置文件就是最简单的配置虚拟 IP 的文件了，接下来我们在 172.16.16.34 上启动 keepalived

/etc/init.d/keepalived start

查看机器 IP：

[root@localhost maxiangqian]# ip addr |grep 172.16
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
inet 172.16.16.34/24 brd 172.16.16.255 scope global eth0
inet 172.16.16.20/32 scope global eth0

可以看到，VIP 已经添加到了 server1 上，接下来我们在 server2 安装启动 keepalived，启动，所有步骤都一样，只不过 server2 的 keepalived 作为备机，并不会持有 VIP。

我们在 server1 上执行

/etc/init.d/keepalived stop

执行以后在 ip addr 看，VIP 现在已经是 server2 持有了。所以最最基本的功能是已经完成了，但是离我们双主自动切换还是有很大的差距的，下面我们继续去对 keepalived 的文件进行改造，直到达到我们满意为止：

下面我们修改配置文件，达到我们需要的目的（下面以 server2 的 kp 文件为例，server1 的和 server2 一样，只要替换掉相应 IP 为 34 就可以了）：

vrrp_script checkmysql {script "/etc/keepalived/checkmysql.sh"
interval 10 #监控脚本，每十秒运行一次
}
 
vrrp_instance VI_20 {
state BACKUP #状态只有 MASTER 和 BACKUP 两种，并且要大写，MASTER 为工作状态，BACKUP 是备用状态
nopreempt #非抢占模式
interface eth0
virtual_router_id 20
priority 100 #权重，同一个 vrrp_instance 的 MASTER 优先级必须比 BACKUP 高。我们使用非抢占模式，设置相同即可
advert_int 5 #MASTER 与 BACKUP 负载均衡器之间同步检查的时间间隔，单位为秒
authentication {
auth_type PASS #验证 authentication。包含验证类型和验证密码。类型主要有 PASS、AH 两种，通常使用的类型为 PASS
auth_pass 1111
}
track_script { #执行定义的监控脚本
checkmysql
}
virtual_ipaddress {172.16.16.20/24
}
}

看一下 checkmysql.sh 这个脚本：

#!/bin/sh
#isok=$(sed -n ‘2p’ /etc/keepalived/result.txt)
isok=$(/usr/local/mysql/bin/mysql -uroot -p123456 -e ‘select 1’ |sed -n ‘2p’)
function error_query(){
service keepalived stop
echo “172.16.16.34 mysql down, keepalived 切换 ” | mail -s “34MySQL+keepalived 通知 ” ma.xiangqian@sf-express.com
}
echo “$isok”
if [“$isok” != “1”]
then
#echo ‘diaoyong error’
error_query
fi

现在我们执行以下语句，从新 load 以下 keepalived 的配置文件：

/etc/init.d/keepalived reload
server1 和 server2 都要执行重新 load 一下新的配置文件，下面我们测试一下当 server1 MySQL DOWN 掉的话会发生什么：server1：shutdown MySQL
server1 和 server2：tail -f /var/log/messages

server1 信息：

May 15 15:35:34 localhost Keepalived_healthcheckers[22987]: TCP connection to [172.16.16.34]:3306 failed !!!
May 15 15:35:34 localhost Keepalived_healthcheckers[22987]: Removing service [172.16.16.34]:3306 from VS [172.16.16.20]:3306
May 15 15:35:34 localhost Keepalived_healthcheckers[22987]: IPVS : Virtual service [172.16.16.20]:3306 illegal timeout.
May 15 15:35:34 localhost Keepalived_healthcheckers[22987]: Executing [/etc/keepalived/shutdown.sh  #检测到服务 down 后执行的脚本] for service [172.16.16.34]:3306 in VS [172.16.16.20]:3306
May 15 15:35:34 localhost Keepalived_healthcheckers[22987]: Lost quorum 1-0=1 > 0 for VS [172.16.16.20]:3306
May 15 15:36:04 localhost Keepalived_vrrp[22988]: VRRP_Script(checkmysql) failed
May 15 15:36:06 localhost Keepalived_vrrp[22988]: VRRP_Instance(VI_20) Entering FAULT STATE
May 15 15:36:06 localhost Keepalived_vrrp[22988]: VRRP_Instance(VI_20) removing protocol VIPs.
May 15 15:36:06 localhost Keepalived_vrrp[22988]: VRRP_Instance(VI_20) Now in FAULT state
May 15 15:36:06 localhost Keepalived_healthcheckers[22987]: Netlink reflector reports IP 172.16.16.20 removed

server2 信息：

May 15 15:24:58 mxqmongodb2 Keepalived_healthcheckers[3093]: IPVS : Virtual service [172.16.16.20]:3306 illegal timeout.
May 15 15:24:58 mxqmongodb2 Keepalived_healthcheckers[3093]: Using LinkWatch kernel netlink reflector...
May 15 15:24:58 mxqmongodb2 Keepalived_healthcheckers[3093]: Activating healthchecker for service [172.16.16.35]:3306
May 15 15:24:58 mxqmongodb2 Keepalived_vrrp[3094]: VRRP_Script(checkmysql) succeeded
May 15 15:36:04 mxqmongodb2 Keepalived_vrrp[3094]: VRRP_Instance(VI_20) Transition to MASTER STATE
May 15 15:36:09 mxqmongodb2 Keepalived_vrrp[3094]: VRRP_Instance(VI_20) Entering MASTER STATE
May 15 15:36:09 mxqmongodb2 Keepalived_vrrp[3094]: VRRP_Instance(VI_20) setting protocol VIPs.
May 15 15:36:09 mxqmongodb2 Keepalived_vrrp[3094]: VRRP_Instance(VI_20) Sending gratuitous ARPs on eth0 for 172.16.16.20
May 15 15:36:09 mxqmongodb2 Keepalived_healthcheckers[3093]: Netlink reflector reports IP 172.16.16.20 added
May 15 15:36:14 mxqmongodb2 Keepalived_vrrp[3094]: VRRP_Instance(VI_20) Sending gratuitous ARPs on eth0 for 172.16.16.20

我们可以看到虚 IP 链接已经切换了，我们从客户端两个时间点执行 MySQL 的操作也可以很明显看到切换：

mysql> select @@server_id;
+-------------+
| @@server_id |
+-------------+
| 343306 |
+-------------+
1 row in set
 
mysql> select @@server_id;
+-------------+
| @@server_id |
+-------------+
| 353306 |
+-------------+
1 row in set