LVS/DR + Keepalived搭建负载均衡集群

150次阅读

共计 4955 个字符，预计需要花费 13 分钟才能阅读完成。

前面的 LVS 虽然已经配置成功也实现了负载均衡（见 http://www.linuxidc.com/Linux/2015-06/118646.htm），但是我们测试的时候发现，当某台 real server 把 nginx 进程停掉，那么 director 照样会把请求转发过去，这样就造成了某些请求不正常。所以需要有一种机制用来检测 real server 的状态，这就是 keepalived。它的作用除了可以检测 rs 状态外，还可以检测备用 director 的状态，也就是说 keepalived 可以实现 ha 集群的功能，当然了也需要一台备用 director。
备用 director 也需要安装一下 keepalived 软件、ipvsadm；
keepalived 调用 lvs 来实现自己的规则；
yum install -y keepalived ipvsadm

环境搭建工作：
主 director 192.168.11.30 eth1 网卡
从 director 192.168.11.40 eth1 网卡
real server1: 192.168.11.100 eth0 网卡
real server2: 192.168.11.101 eth0 网卡

用来 curl 测试的 linux 主机 192.168.11.0 网段即可；
主 dr 和备用 dr 都需要安装 keepalived，ipvsadm；
两台 rs 安装 nginx；

安装好后，主 director 的配置文件
vim /etc/keepalived/keepalived.conf // 加入如下：
vrrp_instance VI_1 {
state MASTER #备用服务器上为 BACKUP
interface eth1
virtual_router_id 51
priority 100 #优先级，数值越大优先级越高；备用服务器上为 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.11.110
}
}
virtual_server 192.168.11.110 80 {
delay_loop 6 #(每隔 6 秒查询 realserver 状态，是否存活)
lb_algo wlc #(轮询算法)
lb_kind DR #(Direct Route)
persistence_timeout 0 #(同一 IP 的连接多少秒内被分配到同一台 realserver，0 表示不连接)
protocol TCP #(用 TCP 协议检查 realserver 状态)
real_server 192.168.11.100 80 {
weight 100 #(权重)
TCP_CHECK {
connect_timeout 10 #(10 秒无响应超时)
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.11.101 80 {
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}

从 director 的配置文件只需要修改下面两项：
state MASTER -> state BACKUP
priority 100 -> priority 90
配置完 keepalived 后，需要开启端口转发（主从 dr 都要做）：
echo 1 > /proc/sys/net/ipv4/ip_forward
然后，两个 rs 上执行 /usr/local/sbin/lvs_dr_rs.sh 脚本，启动 nginx 服务
# /etc/init.d/nginx start

最后，两个 director 上启动 keepalived 服务（先主后从）：
# /etc/init.d/keepalived start

另外，需要注意的是，启动 keepalived 服务会自动生成 vip 和 ipvsadm 规则.

使用命令 #ip addr 查看 dr 的虚拟 ip 地址；直接使用 ifconfig 不显示虚拟 ip；
[root@dr1 keepalived]# ip addr
eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
link/ether 00:0c:29:97:c3:f6 brd ff:ff:ff:ff:ff:ff
inet 192.168.11.30/24 brd 192.168.11.255 scope global eth1

inet 192.168.11.110/32 scope global eth1
inet6 fe80::20c:29ff:fe97:c3f6/64 scope link
valid_lft forever preferred_lft forever

在其他机器 curl 测试，请求 rs1 和 rs2 次数相当；
[root@localhost ~]# curl 192.168.11.110
rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs2rs2
[root@localhost ~]# curl 192.168.11.110
rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs2rs2

rs2 上面 stop nginx，然后 curl 测试，发现所有的请求都到 rs1 上面了；
日志里面也会记录 remove rs2；日志文件：/var/log/messages
[root@rs2 ~]# /etc/init.d/nginx stop

[root@localhost ~]# curl 192.168.11.110
rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs1rs1

[root@dr1 ~]# tail -2 /var/log/messages
Jun 9 23:27:19 localhost Keepalived_healthcheckers[1572]: TCP connection to [192.168.11.101]:80 failed !!!
Jun 9 23:27:19 localhost Keepalived_healthcheckers[1572]: Removing service [192.168.11.101]:80 from VS [192.168.11.110]:80

rs2 启动 nginx，日志文件记录 adding rs2；curl 测试，发现请求平均分配到 rs1 和 rs2 上面了；

[root@rs2 ~]# /etc/init.d/nginx start

[root@dr1 ~]# tail -2 /var/log/messages
Jun 9 23:31:38 localhost Keepalived_healthcheckers[1572]: TCP connection to [192.168.11.101]:80 success.
Jun 9 23:31:38 localhost Keepalived_healthcheckers[1572]: Adding service [192.168.11.101]:80 to VS [192.168.11.110]:80

[root@localhost ~]# curl 192.168.11.110
rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs2rs2
[root@localhost ~]# curl 192.168.11.110
rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs2rs2

加入 dr2 备用 dircetor 机器；
主上停止 keepalive 服务；stop 之后，在从上 ip addr 查看绑定虚拟 ip，说明从接管了服务；切换速度很快；
主上启动 keepalived 服务后，主绑定虚拟 ip，接管服务；
[root@dr2 keepalived]# ip addr
eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
link/ether 00:0c:29:af:73:3f brd ff:ff:ff:ff:ff:ff
inet 192.168.11.40/24 brd 192.168.11.255 scope global eth1
inet 192.168.11.110/32 scope global eth1

nc 命令可以扫描端口是否打开：

在其他机器上扫描，11.100 和 11.101，11.110 的 80 端口是否打开；

#nc -z -w2 192.168.11.110 80
[root@localhost ~]# nc -z -w2 192.168.11.100 80
Connection to 192.168.11.100 80 port [tcp/http] succeeded!
[root@localhost ~]# nc -z -w2 192.168.11.101 80
Connection to 192.168.11.101 80 port [tcp/http] succeeded!
[root@localhost ~]# nc -z -w2 192.168.11.110 80
Connection to 192.168.11.110 80 port [tcp/http] succeeded!

LVS+Keepalived 实现四层负载及高可用 http://www.linuxidc.com/Linux/2015-02/112695.htm

LVS+Keepalived 高可用负载均衡集群架构实验 http://www.linuxidc.com/Linux/2015-01/112560.htm

Heartbeat+LVS 构建高可用负载均衡集群 http://www.linuxidc.com/Linux/2014-09/106964.htm

搭建 LVS 负载均衡测试环境 http://www.linuxidc.com/Linux/2014-09/106636.htm

一个针对 LVS 的压力测试报告 http://www.linuxidc.com/Linux/2015-03/114422.htm

CentOS 6.3 下 Haproxy+Keepalived+Apache 配置笔记 http://www.linuxidc.com/Linux/2013-06/85598.htm

Haproxy + KeepAlived 实现 WEB 群集 on CentOS 6 http://www.linuxidc.com/Linux/2012-03/55672.htm

Keepalived+Haproxy 配置高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/56748.htm

Haproxy+Keepalived 构建高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/55880.htm

CentOS 7 上配置 LVS + Keepalived + ipvsadm http://www.linuxidc.com/Linux/2014-11/109237.htm

Keepalived 高可用集群搭建 http://www.linuxidc.com/Linux/2014-09/106965.htm

Keepalived 的详细介绍：请点这里
Keepalived 的下载地址：请点这里