阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Linux下安装lvs和keeplived实现负载均衡

203次阅读
没有评论

共计 5602 个字符,预计需要花费 15 分钟才能阅读完成。

前言

在生产工作中,后端服务器并不可能永远都处于正常运行状态,若服务器发生宕机,为了不影响正在进行的业务以及给用户更好的体验,我们可以通过 keepalived 监控后台服务器运行情况,当有服务器发生故障时,会从把该服务器剔除出 LVS 转发策略;等到服务器恢复正常后,keepalived 也会重新把该服务器加入 LVS 转发策略中。

Linux 下安装 lvs 和 keeplived 实现负载均衡

系统介绍

 虚拟 VIP:192.168.1.231

ip 地址:192.168.1.244【mac 地址:00:16:3E:98:07:E8,以下简称 D1】

ip 地址:192.168.1.233【mac 地址:00:16:3E:3B:60:AA,以下简称 D1】

系统:centos6
Linux 下安装 lvs 和 keeplived 实现负载均衡

安装部署

安装 keepalived

D1,D2 服务器都要安装 keepalived
cd /data/software/
rz 上传文件 keepalived-1.2.13.tar.gz
# tar -zvxf keepalived-1.2.13.tar.gz
# cd keepalived-1.2.13
# ./configure --sysconf=/data/conf/ --prefix=/data/apps/keepalived/

\# 如果报错!!!

OpenSSL is not properly installed on your system. !!!

则执行:

# yum -y install openssl-devel
Linux 下安装 lvs 和 keeplived 实现负载均衡
make
make install

安装完成
ln -s /data/apps/keepalived/sbin/keepalived /sbin/keepalived
cp /home/data/conf/rc.d/init.d/keepalived /etc/rc.d/init.d/
cp /home/data/conf/sysconfig/keepalived /etc/sysconfig/
mkdir /etc/keepalived
cp /home/data/conf/keepalived/keepalived.conf /data/conf/
ln -s /data/conf/keepalived.conf /etc/keepalived/keepalived.conf
rm -rf /data/conf/keepalived /data/conf/rc.d /data/conf/sysconfig
echo "1" >/proc/sys/net/ipv4/ip_forward # 开启路由功能

安装 ipvs

D1,D2 服务器都要安装

检查 kernel 是否已经支持 LVS 的 IPVS 模块

modprobe -l | grep ipvs
Linux 下安装 lvs 和 keeplived 实现负载均衡

如果有类似上面的输出则说明内核已经支持

安装 ipvs

yum -y install ipvsadm

ipvsadm --help (看到参数信息则说明安装成功)
Linux 下安装 lvs 和 keeplived 实现负载均衡

防火墙规则

iptables -F -t mangle       # 清空 mangle 中的规则 

iptables -t mangle -I PREROUTING -d 192.168.1.231 -p tcp -m tcp --dport 80 -m mac ! --mac-source 00:16:3E:3B:60:AA -j MARK --set-mark 1【192.168.1.244 服务器配置】

iptables -t mangle -I PREROUTING -d 192.168.1.231 -p tcp -m tcp --dport 80 -m mac ! --mac-source 00:16:3E:98:07:E8 -j MARK --set-mark 1【192.168.1.233 服务器配置】



\# 目标 ip 地址是 192.168.1.231 并且目标端口为 80 的数据标记为 1(排除另外一台 lvs 调度器 所以是排除另外一台调度器的 mac 地址 两台 lvs 的 set-mark 值不同 并且规则中都排除对端的 mac 地址)

service iptables save
Linux 下安装 lvs 和 keeplived 实现负载均衡

配置 keepalived

vi /etc/keepalived/keepalived.conf 

修改配置信息参考:

192.168.1.244 的配置:

! Configuration File for keepalived

global_defs {
notification_email {
linmaogan@gmail.com # 故障通知邮件地址,可以多个地址
liuxing007xing@163.com
}
notification_email_from linmaogan@163.com # 故障发送人
smtp_server smtp.163.com # 由 163.com 发送邮件
smtp_connect_timeout 30

#运行 Keepalived 服务器的一个标识
#发邮件时显示在邮件标题中的信息
router_id LVS_BACKUP #BACKUP 上修改为 LVS_BACKUP,网上资料说这个值也需要修改,具体不详,之前我们线上的主备就一直是一样的 ^ ^ 还是修改一下吧!
}

# 监测 ipvsadm 进程状态,每 3 秒执行一次
vrrp_script chk_ipvsadm{
  script "/data/conf/shell/chk_ipvsadm.sh"
  interval 3
  weight 3
}

vrrp_instance VI_1 {
  state MASTER
  interface em1【修改对应的网卡或 eth0】
  virtual_router_id 51
  priority 100
  advert_int 1
  authentication {
      auth_type PASS
      auth_pass PZFKD2wSUJ3swnPN
  }
  virtual_ipaddress {
      192.168.1.231
  }
}

virtual_server fwmark 80 {
  delay_loop 6
  lb_algo wlc
  lb_kind DR
  persistence_timeout 1
  nat_mask 255.255.255.0   #网络掩码
persistence_timeout 50
protocol TCP
  real_server 192.168.1.244 80 {
      weight 5
      TCP_CHECK {
          connect_timeout 3
          nb_get_retry 3
          delay_before_retry 3
connect_port 80               #健康检查端口连接端口
      }
  }
real_server 192.168.1.233 80 {
      weight 5
      TCP_CHECK {
          connect_timeout 3
          nb_get_retry 3
          delay_before_retry 3
connect_port 80               #健康检查端口连接端口
      }
  }
}

192.168.1.233 的配置:

! Configuration File for keepalived

global_defs {
notification_email {
linmaogan@gmail.com # 故障通知邮件地址,可以多个地址
liuxing007xing@163.com
}
notification_email_from linmaogan@163.com # 故障发送人
smtp_server smtp.163.com # 由 163.com 发送邮件
smtp_connect_timeout 30

#运行 Keepalived 服务器的一个标识
#发邮件时显示在邮件标题中的信息
router_id LVS_BACKUP #BACKUP 上修改为 LVS_BACKUP,网上资料说这个值也需要修改,具体不详,之前我们线上的主备就一直是一样的 ^ ^ 还是修改一下吧!
}

# 监测 ipvsadm 进程状态,每 3 秒执行一次
vrrp_script chk_ipvsadm{
  script "/data/conf/shell/chk_ipvsadm.sh"
  interval 3
  weight 3
}

vrrp_instance VI_1 {
  state BACKUP
  interface em1【修改对应的网卡或 eth0】
  virtual_router_id 51
  priority 80
  advert_int 1
  authentication {
      auth_type PASS
      auth_pass PZFKD2wSUJ3swnPN
  }
  virtual_ipaddress {
      192.168.1.231
  }
}

virtual_server fwmark 80 {
  delay_loop 6
  lb_algo wlc
  lb_kind DR
  persistence_timeout 1
  nat_mask 255.255.255.0   #网络掩码
persistence_timeout 50
protocol TCP
  real_server 192.168.1.244 80 {
      weight 5
      TCP_CHECK {
          connect_timeout 3
          nb_get_retry 3
          delay_before_retry 3
connect_port 80               #健康检查端口连接端口
      }
  }
real_server 192.168.1.233 80 {
      weight 5
      TCP_CHECK {
          connect_timeout 3
          nb_get_retry 3
          delay_before_retry 3
connect_port 80               #健康检查端口连接端口
      }
  }
}

D2 上配值和 D1 基本相同只是 state MASTER 改成 state BACKUP,priority 100 改成 priority 80

配置 ipvs

vi /data/conf/shell/chk_ipvsadm.sh

插入配置信息
#!/bin/bash
# 定时查看 ipvsadm 是否存在,如果不存在则启动 ipvsadm,
# 如果启动失败,则停止 keepalived
status=$(ps aux|grep ipvsadm | grep -v grep | grep -v bash | wc -l)
if ["${status}" = "0" ]; then
service ipvsadm start
status2=$(ps aux|grep ipvsadm | grep -v grep | grep -v bash |wc -l)
if ["${status2}" = "0" ]; then
/etc/init.d/keepalived stop
fi
fi

Real_Server 上的配置

在 LVS 的 DR 模式下,用户的访问请求到达 Real Server 后,是直接返回给用户的,不再经过前端的 Director Server, 因此,需要在每个 Real server 节点上增加虚拟的 VIP 地址,这样数据才能直接返回给用户

chmod 777 /etc/rc.d/init.d/functions 

vi /etc/init.d/lvsrs
#!/bin/bash
#把以下内容保存成:lvsrs
#并放置在 /etc/init.d 目录下
# 如果想启动 LVS Server 执行:/etc/init.d/lvsrs start
# 如果想停止 LVS Server 执行:/etc/init.d/lvsrs stop
VIP=192.168.1.231 #虚拟 IP,视具体情况而变
. /etc/rc.d/init.d/functions   # 如果提示权限不够,那么先在命令行执行: chmod 777 /etc/rc.d/init.d/functions

case "$1" in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
ifconfig lo:0 down
route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
chmod 755 /etc/init.d/lvsrs

service lvsrs start

管理 lvs

以下 D1,D2 上都执行

1)启动 lvs 调度器

service keepalived start                            # 开启路由功能 
echo "1" >/proc/sys/net/ipv4/ip_forward

2)关闭 lvs 调度器

service keepalived stop
echo "0" >/proc/sys/net/ipv4/ip_forward

添加开机启动

chkconfig --add keepalived
chkconfig keepalived on

vi /etc/rc.d/rc.local
/etc/init.d/lvsrs start # 添加这一行到末尾

ip a 查询

Linux 下安装 lvs 和 keeplived 实现负载均衡

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-06-06发表,共计5602字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中