共计 5602 个字符，预计需要花费 15 分钟才能阅读完成。
前言
在生产工作中，后端服务器并不可能永远都处于正常运行状态，若服务器发生宕机，为了不影响正在进行的业务以及给用户更好的体验，我们可以通过 keepalived 监控后台服务器运行情况，当有服务器发生故障时，会从把该服务器剔除出 LVS 转发策略；等到服务器恢复正常后，keepalived 也会重新把该服务器加入 LVS 转发策略中。
系统介绍
虚拟 VIP：192.168.1.231
ip 地址：192.168.1.244【mac 地址：00:16:3E:98:07:E8，以下简称 D1】
ip 地址：192.168.1.233【mac 地址：00:16:3E:3B:60:AA，以下简称 D1】
系统：centos6
安装部署
安装 keepalived
D1,D2 服务器都要安装 keepalived
cd /data/software/
rz 上传文件 keepalived-1.2.13.tar.gz
# tar -zvxf keepalived-1.2.13.tar.gz
# cd keepalived-1.2.13
# ./configure --sysconf=/data/conf/ --prefix=/data/apps/keepalived/
\# 如果报错!!!
OpenSSL is not properly installed on your system. !!!
则执行：
# yum -y install openssl-develmake
make install
安装完成
ln -s /data/apps/keepalived/sbin/keepalived /sbin/keepalived
cp /home/data/conf/rc.d/init.d/keepalived /etc/rc.d/init.d/
cp /home/data/conf/sysconfig/keepalived /etc/sysconfig/
mkdir /etc/keepalived
cp /home/data/conf/keepalived/keepalived.conf /data/conf/
ln -s /data/conf/keepalived.conf /etc/keepalived/keepalived.conf
rm -rf /data/conf/keepalived /data/conf/rc.d /data/conf/sysconfig
echo "1" >/proc/sys/net/ipv4/ip_forward # 开启路由功能 安装 ipvs
D1,D2 服务器都要安装
检查 kernel 是否已经支持 LVS 的 IPVS 模块
modprobe -l | grep ipvs
如果有类似上面的输出则说明内核已经支持
安装 ipvs
yum -y install ipvsadm
ipvsadm --help (看到参数信息则说明安装成功)
防火墙规则
iptables -F -t mangle # 清空 mangle 中的规则
iptables -t mangle -I PREROUTING -d 192.168.1.231 -p tcp -m tcp --dport 80 -m mac ! --mac-source 00:16:3E:3B:60:AA -j MARK --set-mark 1【192.168.1.244 服务器配置】
iptables -t mangle -I PREROUTING -d 192.168.1.231 -p tcp -m tcp --dport 80 -m mac ! --mac-source 00:16:3E:98:07:E8 -j MARK --set-mark 1【192.168.1.233 服务器配置】
\# 目标 ip 地址是 192.168.1.231 并且目标端口为 80 的数据标记为 1（排除另外一台 lvs 调度器 所以是排除另外一台调度器的 mac 地址 两台 lvs 的 set-mark 值不同 并且规则中都排除对端的 mac 地址）
service iptables save
配置 keepalived
vi /etc/keepalived/keepalived.conf
修改配置信息参考：
192.168.1.244 的配置：
! Configuration File for keepalived
global_defs {
notification_email {
linmaogan@gmail.com # 故障通知邮件地址，可以多个地址
liuxing007xing@163.com
}
notification_email_from linmaogan@163.com # 故障发送人
smtp_server smtp.163.com # 由 163.com 发送邮件
smtp_connect_timeout 30
#运行 Keepalived 服务器的一个标识
#发邮件时显示在邮件标题中的信息
router_id LVS_BACKUP #BACKUP 上修改为 LVS_BACKUP，网上资料说这个值也需要修改，具体不详，之前我们线上的主备就一直是一样的 ^ ^ 还是修改一下吧！
}
# 监测 ipvsadm 进程状态，每 3 秒执行一次
vrrp_script chk_ipvsadm{
script "/data/conf/shell/chk_ipvsadm.sh"
interval 3
weight 3
}
vrrp_instance VI_1 {
state MASTER
interface em1【修改对应的网卡或 eth0】
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass PZFKD2wSUJ3swnPN
}
virtual_ipaddress {
192.168.1.231
}
}
virtual_server fwmark 80 {
delay_loop 6
lb_algo wlc
lb_kind DR
persistence_timeout 1
nat_mask 255.255.255.0 #网络掩码
persistence_timeout 50
protocol TCP
real_server 192.168.1.244 80 {
weight 5
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80 #健康检查端口连接端口
}
}
real_server 192.168.1.233 80 {
weight 5
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80 #健康检查端口连接端口
}
}
}192.168.1.233 的配置：
! Configuration File for keepalived
global_defs {
notification_email {
linmaogan@gmail.com # 故障通知邮件地址，可以多个地址
liuxing007xing@163.com
}
notification_email_from linmaogan@163.com # 故障发送人
smtp_server smtp.163.com # 由 163.com 发送邮件
smtp_connect_timeout 30
#运行 Keepalived 服务器的一个标识
#发邮件时显示在邮件标题中的信息
router_id LVS_BACKUP #BACKUP 上修改为 LVS_BACKUP，网上资料说这个值也需要修改，具体不详，之前我们线上的主备就一直是一样的 ^ ^ 还是修改一下吧！
}
# 监测 ipvsadm 进程状态，每 3 秒执行一次
vrrp_script chk_ipvsadm{
script "/data/conf/shell/chk_ipvsadm.sh"
interval 3
weight 3
}
vrrp_instance VI_1 {
state BACKUP
interface em1【修改对应的网卡或 eth0】
virtual_router_id 51
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass PZFKD2wSUJ3swnPN
}
virtual_ipaddress {
192.168.1.231
}
}
virtual_server fwmark 80 {
delay_loop 6
lb_algo wlc
lb_kind DR
persistence_timeout 1
nat_mask 255.255.255.0 #网络掩码
persistence_timeout 50
protocol TCP
real_server 192.168.1.244 80 {
weight 5
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80 #健康检查端口连接端口
}
}
real_server 192.168.1.233 80 {
weight 5
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80 #健康检查端口连接端口
}
}
}D2 上配值和 D1 基本相同只是 state MASTER 改成 state BACKUP,priority 100 改成 priority 80
配置 ipvs
vi /data/conf/shell/chk_ipvsadm.sh
插入配置信息
#!/bin/bash
# 定时查看 ipvsadm 是否存在，如果不存在则启动 ipvsadm，
# 如果启动失败，则停止 keepalived
status=$(ps aux|grep ipvsadm | grep -v grep | grep -v bash | wc -l)
if ["${status}" = "0" ]; then
service ipvsadm start
status2=$(ps aux|grep ipvsadm | grep -v grep | grep -v bash |wc -l)
if ["${status2}" = "0" ]; then
/etc/init.d/keepalived stop
fi
fiReal_Server 上的配置
在 LVS 的 DR 模式下，用户的访问请求到达 Real Server 后，是直接返回给用户的，不再经过前端的 Director Server, 因此，需要在每个 Real server 节点上增加虚拟的 VIP 地址，这样数据才能直接返回给用户
chmod 777 /etc/rc.d/init.d/functions
vi /etc/init.d/lvsrs
#!/bin/bash
#把以下内容保存成:lvsrs
#并放置在 /etc/init.d 目录下
# 如果想启动 LVS Server 执行:/etc/init.d/lvsrs start
# 如果想停止 LVS Server 执行:/etc/init.d/lvsrs stop
VIP=192.168.1.231 #虚拟 IP，视具体情况而变
. /etc/rc.d/init.d/functions # 如果提示权限不够，那么先在命令行执行: chmod 777 /etc/rc.d/init.d/functions
case "$1" in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
ifconfig lo:0 down
route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0chmod 755 /etc/init.d/lvsrs
service lvsrs start管理 lvs
以下 D1,D2 上都执行
1）启动 lvs 调度器
service keepalived start # 开启路由功能
echo "1" >/proc/sys/net/ipv4/ip_forward2）关闭 lvs 调度器
service keepalived stop
echo "0" >/proc/sys/net/ipv4/ip_forward添加开机启动
chkconfig --add keepalived
chkconfig keepalived on
vi /etc/rc.d/rc.local
/etc/init.d/lvsrs start # 添加这一行到末尾 ip a 查询
正文完
星哥玩云-微信公众号
