Keepalived+Haproxy构建高可用负载均衡集群

151次阅读

共计 7673 个字符，预计需要花费 20 分钟才能阅读完成。

keepalived 是一个类似于 layer3, 4 & 5 交换机制的软件，也就是我们平时说的第 3 层、第 4 层和第 5 层交换。Keepalived 的作用是检测 web 服务器的状态，如果有一台 web 服务器死机，或工作出现故障，Keepalived 将检测到，并将有故障的 web 服务器从系统中剔除，当 web 服务器工作正常后 Keepalived 自动将 web 服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的 web 服务器。HAProxy 提供高可用性、负载均衡以及基于 TCP 和 HTTP 应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。…

CentOS 6.3 下 Haproxy+Keepalived+Apache 配置笔记 http://www.linuxidc.com/Linux/2013-06/85598.htm

Haproxy + KeepAlived 实现 WEB 群集 on CentOS 6 http://www.linuxidc.com/Linux/2012-03/55672.htm

Keepalived+Haproxy 配置高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/56748.htm

Haproxy+Keepalived 构建高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/55880.htm

Keepalived+haproxy 构建 web 高可用负载均衡系统

本章将使用 keepalived 做为高可用集群调度用户请求，并且检测 haproxy 负载均衡器的状态，实时地完成节点的动态调整。

keepalived 原理图:

Keepalived+Haproxy 构建高可用负载均衡集群

Layer3：Keepalived 使用 Layer3 的方式工作式时，Keepalived 会定期向服务器群中的服务器

发送一个 ICMP 的数据包（既我们平时用的 Ping 程序）, 如果发现某台服务的 IP 地址没有激活，Keepalived 便报告这台服务器失效，并将它从服务器群中剔除，这种情况的典型例子是某台服务器被非法关机。Layer3 的方式是以服务器的 IP 地址是否有效作为服务器工作正常与否的标准。在本文中将采用这种方式。

Layer4: 如果您理解了 Layer3 的方式，Layer4 就容易了。Layer4 主要以 TCP 端口的状态来决定服务器工作正常与否。如 web server 的服务端口一般是 80，如果 Keepalived 检测到 80 端口没有启动，则 Keepalived 将把这台服务器从服务器群中剔除。

Layer5：Layer5 就是工作在具体的应用层了，比 Layer3,Layer4 要复杂一点，在网络上占用的带宽也要大一些。Keepalived 将根据用户的设定检查服务器程序的运行是否正常，如果与用户的设定不相符，则 Keepalived 将把服务器从服务器群中剔除。

haproxy 工作机制：

Keepalived+Haproxy 构建高可用负载均衡集群

HAProxy 相比 LVS 的使用要简单很多，功能方面也很丰富。当前，HAProxy 支持两种主要的代理模式:”tcp” 也即 4 层（大多用于邮件服务器、内部协议通信服务器等），和 7 层（HTTP）。在 4 层模式下，HAProxy 仅在客户端和服务器之间转发双向流量。7 层模式下，HAProxy 会分析协议，并且能通过允许、拒绝、交换、增加、修改或者删除请求 (request)或者回应 (response) 里指定内容来控制协议，这种操作要基于特定规则。

系统环境：CentOS6.4

iptables 关闭

selinux is disabled

一、keepalived 的安装与配置

#tar zxf keepalived-1.2.7.tar.gz

#cd keepalived-1.2.7

#./configure –prefix=/usr/local/keepalived 指定路径编译

其中可能安装一下依赖包：

openssl-devel popt-devel libnl-devel

# make && make install 执行 make 安装

# cd /usr/local/keepalived/ 默认主目录，存在 sbin/ 和 etc/ 目录

# ln -s /usr/local/keepalived/sbin/keepalived /sbin/ 便于管理 keepalived，将文件链接

# ln -s /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

#ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

# ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

# vim /etc/keepalived/keepalived.conf
root@localhost
}
notification_email_from keepalived@server3.example.com 通知收件人地址
virtual_router_id 88 定义虚拟路由 id
priority 100 定义主节点(权值决定)
virtual_ipaddress {定义 VIP
192.168.0.88
}
}

使用 lvs+keepalived 时使用一下配置
virtual_server 192.168.0.88 80{定义虚拟服务
delay_loop 6
lb_algo rr 使用轮询方式调度算法
lb_kind DR 使用 DR 直连模式
# persistence_timeout 50 这个是 nat 的必须做的，如果加上这个的话，就会持续链接这个
protocol TCP
real_server 192.168.0.198 80 {定义真实服务
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.0.199 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}

#/etc/init.d/keepalived start

因为要构建 keepalived 高可用集群，因此需要在 keepalived 备用节点上安装配置同样的服务。

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-05/101765p2.htm

二、haproxy 的安装与配置

#tar zxf haproxy-1.4.23.tar.gz

#cd haproxy-1.4.23

#find -name *.spec 发现 spec 文件，可以将源码包打压成 rpm

#yum install rpm-build -y 安装 rpm 包构建软件

#rpmbuild -tb haproxy-1.4.23.tar.gz 使用源码包构建 rpm 包

#cd /root/rpmbuild/RPMS/x86_64 生成的 rpm 包

#rpm -ivh *.rpm 安装 keepalived 的 rpm 包

# vim /etc/haproxy/haproxy.cfg
defaults
log global
mode http
option httplog
option dontlognull
retries 3
option redispatch
maxconn 2000
contimeout 5000
clitimeout 50000
srvtimeout 50000
listen status_auth 192.168.0.103:8080 给监控界面做一个端口绑定，指定用户和密码
stats enable
stats uri /admin
stats auth user：passwd 定义监控页面的用户和密码
stats refresh 6

slisten ha_proxy 192.168.0.103:80 在 103 主机上定义真实主机(Real Server)
balance roundrobin
server inst1 192.168.0.198:80
server inst2 192.168.0.199:80

# vim /etc/rsyslog.conf
开启 tcp 或者 udp
$ModLoad imudp
$UDPServerRun 514
local0.* /var/log/haproxy.log
#/etc/init.d/rsyslog restart

#/etc/init.d/haproxy start

web 负载均衡方案 haproxy 构建完毕！

访问 http://192.168.0.103 可以访问到 198 和 199 主机的内容

访问 http://192.168.0.103:8080 使用用户名和密码登陆可以查看链接状态

三、整合 keepalived 和 haproxy

# vim check_haproxy.sh 编写一个检测 haproxy 状态脚本
#!/bin/bash
/etc/init.d/haproxy status &> /dev/null || /etc/init.d/haproxy restart &> /dev/null
if [$? -ne 0] ;then
/etc/init.d/keepalived stop &> /dev/null
fi

# chmod +x check_haproxy.sh
#./check_haproxy.sh 在 haproxy 关闭时自动启动 haproxy

修改 keepalived 文件

# vim keepalived.conf
vrrp_script check_haproxy {
script “/opt/check_haproxy.sh”
interval 2
weight 2
}

virtual_ipaddress {
192.168.0.88 新的 VIP
}
track_script {
check_haproxy
}

# vim /etc/haproxy/haproxy.cfg
listen www.domain.com *:80 所以 IP 都可以访问(给本机 VIP 做解析)
cookie SERVERID rewrite
balance roundrobin
server app1_1 192.168.0.198:80 cookie app1inst1 check inter 2000 rise 2 fall 3
server app1_2 192.168.0.199:80 cookie app1inst2 check inter 2000 rise 2 fall 3

listen status_auth *:8080 使用任意客户端检测
stats enable
stats uri /admin
stats auth user：passwd 定义监控页面的用户和密码
stats refresh 6

# /etc/init.d/keepalived restart

# ip addr show 查看主 keepalived 已经加载了 VIP 资源
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 52:54:00:9c:c9:22 brd ff:ff:ff:ff:ff:ff
inet 192.168.0.103/24 brd 192.168.0.255 scope global eth0 103 为主节点 IP
inet 192.168.0.88/32 scope global eth0 88 为 VIP

# /etc/init.d/haproxy status 查看状态为 running

注意：构建 keepalived+haproxy 高可用负载均衡集群必须在两个节点分别配置两个服务，并且保证相同的配置和服务，在备用节点上注意将权值修改小些。

测试高可用和负载均衡：

任何一个主机的 keepalived 出现故障，另外一个主机会接管相应的资源。

任何一个 haproxy 出现故障，客户仍然可以访问后端 Real Server 提供的服务。

keepalived 是一个类似于 layer3, 4 & 5 交换机制的软件，也就是我们平时说的第 3 层、第 4 层和第 5 层交换。Keepalived 的作用是检测 web 服务器的状态，如果有一台 web 服务器死机，或工作出现故障，Keepalived 将检测到，并将有故障的 web 服务器从系统中剔除，当 web 服务器工作正常后 Keepalived 自动将 web 服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的 web 服务器。HAProxy 提供高可用性、负载均衡以及基于 TCP 和 HTTP 应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。…

CentOS 6.3 下 Haproxy+Keepalived+Apache 配置笔记 http://www.linuxidc.com/Linux/2013-06/85598.htm

Haproxy + KeepAlived 实现 WEB 群集 on CentOS 6 http://www.linuxidc.com/Linux/2012-03/55672.htm

Keepalived+Haproxy 配置高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/56748.htm

Haproxy+Keepalived 构建高可用负载均衡 http://www.linuxidc.com/Linux/2012-03/55880.htm

Keepalived+haproxy 构建 web 高可用负载均衡系统

本章将使用 keepalived 做为高可用集群调度用户请求，并且检测 haproxy 负载均衡器的状态，实时地完成节点的动态调整。

keepalived 原理图:

Keepalived+Haproxy 构建高可用负载均衡集群

Layer3：Keepalived 使用 Layer3 的方式工作式时，Keepalived 会定期向服务器群中的服务器

发送一个 ICMP 的数据包（既我们平时用的 Ping 程序）, 如果发现某台服务的 IP 地址没有激活，Keepalived 便报告这台服务器失效，并将它从服务器群中剔除，这种情况的典型例子是某台服务器被非法关机。Layer3 的方式是以服务器的 IP 地址是否有效作为服务器工作正常与否的标准。在本文中将采用这种方式。

Layer4: 如果您理解了 Layer3 的方式，Layer4 就容易了。Layer4 主要以 TCP 端口的状态来决定服务器工作正常与否。如 web server 的服务端口一般是 80，如果 Keepalived 检测到 80 端口没有启动，则 Keepalived 将把这台服务器从服务器群中剔除。

Layer5：Layer5 就是工作在具体的应用层了，比 Layer3,Layer4 要复杂一点，在网络上占用的带宽也要大一些。Keepalived 将根据用户的设定检查服务器程序的运行是否正常，如果与用户的设定不相符，则 Keepalived 将把服务器从服务器群中剔除。

haproxy 工作机制：

Keepalived+Haproxy 构建高可用负载均衡集群

HAProxy 相比 LVS 的使用要简单很多，功能方面也很丰富。当前，HAProxy 支持两种主要的代理模式:”tcp” 也即 4 层（大多用于邮件服务器、内部协议通信服务器等），和 7 层（HTTP）。在 4 层模式下，HAProxy 仅在客户端和服务器之间转发双向流量。7 层模式下，HAProxy 会分析协议，并且能通过允许、拒绝、交换、增加、修改或者删除请求 (request)或者回应 (response) 里指定内容来控制协议，这种操作要基于特定规则。

系统环境：CentOS6.4

iptables 关闭

selinux is disabled

一、keepalived 的安装与配置

#tar zxf keepalived-1.2.7.tar.gz

#cd keepalived-1.2.7

#./configure –prefix=/usr/local/keepalived 指定路径编译

其中可能安装一下依赖包：

openssl-devel popt-devel libnl-devel

# make && make install 执行 make 安装

# cd /usr/local/keepalived/ 默认主目录，存在 sbin/ 和 etc/ 目录

# ln -s /usr/local/keepalived/sbin/keepalived /sbin/ 便于管理 keepalived，将文件链接

# ln -s /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

#ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

# ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

# vim /etc/keepalived/keepalived.conf
root@localhost
}
notification_email_from keepalived@server3.example.com 通知收件人地址
virtual_router_id 88 定义虚拟路由 id
priority 100 定义主节点(权值决定)
virtual_ipaddress {定义 VIP
192.168.0.88
}
}

使用 lvs+keepalived 时使用一下配置
virtual_server 192.168.0.88 80{定义虚拟服务
delay_loop 6
lb_algo rr 使用轮询方式调度算法
lb_kind DR 使用 DR 直连模式
# persistence_timeout 50 这个是 nat 的必须做的，如果加上这个的话，就会持续链接这个
protocol TCP
real_server 192.168.0.198 80 {定义真实服务
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.0.199 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}