Linux下LVS搭建负载均衡集群

393次阅读

共计 5600 个字符，预计需要花费 14 分钟才能阅读完成。

常用的负载均衡开源软件有：nginx、lvs、keepalived
商业的硬件负载设备：F5、Netscale
1、LB、LVS 介绍
LB 集群是 load balance 集群的简写，翻译成中文就是负载均衡集群；
LVS 是一个实现负载均衡集群的开源软件项目；
LVS 架构从逻辑上可分为调度层(Director)、server 集群层(Real server) 和共享存储层；

LVS 可分为三种工作模式:
NAT(调度器将请求的目标 ip 即 vip 地址改为 Real server 的 ip, 返回的数据包也经过调度器，调度器再把源地址修改为 vip)
TUN(调度器将请求来的数据包封装加密通过 ip 隧道转发到后端的 real server 上，而 real server 会直接把数据返回给客户端，而不再经过调度器)
DR(调度器将请求来的数据包的目标 mac 地址改为 real server 的 mac 地址，返回的时候也不经过调度器，直接返回给客户端)
spacer.gif

LVS 的调度算法：轮叫调度(Round Robin)(简称 rr) , 加权轮叫(Weighted Round Robin)(简称 wrr), 最少链接(least connection)(LC), 加权最少链接(Weighted Least Connections)(WLC) 等等；

2、LVS/NAT 配置
准备工作：
需要准备三台机器干净的 CentOS6.6 系统，Director 机器需要安装两块网卡；
三台服务器一台作为 director, 两台作为 real server

Director 有一个外网 ip：192.168.22.11 和一个内网 ip：192.168.11.11
两台 Real Server 只有内网 ip 为：192.168.11.100 和 192.168.11.101，并且需要设置内网网关为 director 的内网 ip：192.168.11.11
DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.11.100
GATEWAY=192.168.11.11 更改完网关后需要重启网卡，先 down 后 up，在一条命令实现；如果 ifdown 之后，ssh 会中断；

# ifdown eth1 && ifup eth1
Director 上安装 ipvsadm：#yum install -y ipvsadm

两台 real server 安装 nginx，需要先安装 epel 扩展源。
yum install -y epel-release
yum install -y nginx
安装完成后启动 nginx：/etc/init.d/nginx start
更改三台服务器的 hostname 为 dr、rs1、rs2

Direcotr 上 vi /usr/local/sbin/lvs_nat.sh // 增加如下内容：
#! /bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects

iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.11.0/24 -j MASQUERADE

IPVSADM=’/sbin/ipvsadm’
$IPVSADM -C
$IPVSADM -A -t 192.168.22.11:80 -s wlc
$IPVSADM -a -t 192.168.22.11:80 -r 192.168.11.100:80 -m -w 2
$IPVSADM -a -t 192.168.22.11:80 -r 192.168.11.101:80 -m -w 1 直接运行这个脚本就可以完成 lvs/nat 的配置了:

/bin/bash /usr/local/sbin/lvs_nat.sh

dr 查看 nat 的 iptables
[root@dr ~]# iptables -t nat -nvL
Chain POSTROUTING (policy ACCEPT 1 packets, 124 bytes)
pkts bytes target prot opt in out source destination
0 0 MASQUERADE all — * * 192.168.11.0/24 0.0.0.0/0
ipvsadm -ln 查看 ipvsadm 的规则

浏览器打开 192.168.11.100、192.168.11.101 显示 nginx 的欢迎页面

Linux 下 LVS 搭建负载均衡集群

在 rs1、rs2 上面修改 html 文件，用来区分；
[root@rs1 ~]# cat /usr/share/nginx/html/index.html
rs1rs1rs1
[root@rs2 ~]# cat /usr/share/nginx/html/index.html
rs2rs2rs2 通过浏览器测试两台机器上的内容
浏览器打开 192.168.22.11，会显示 rs1 或 rs2 的 html 内容；来回切换说明试验 OK；

更改轮询规则为 wlc，权重为 2，进行测试

Linux 下 LVS 搭建负载均衡集群

用另一台 linux 机器 curl 测试，出现 2 次 1，1 次 2，来回切换说明 OK；
[root@localhost ~]# curl 192.168.22.11
rs1rs1rs1
[root@localhost ~]# curl 192.168.22.11
rs1rs1rs1
[root@localhost ~]# curl 192.168.22.11
rs2rs2rs2 在 dr 机器上 ipvsadm -ln 可以查看，权重比，保持的链接比大概一样；
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.22.11:80 wlc
-> 192.168.11.100:80 Masq 2 0 26
-> 192.168.11.101:80 Masq 1 0 13

3、LVS/DR 配置
DR 模式中，director 只负责分发，只有进入的流量，吞吐量会非常大；real server 直接给用户提供数据，安全性会降低；
DR 中的机器都需要配置公网 ip，虚拟的 ip 每台机器都需要配置，用户请求的时候请求虚拟 ip，返回的时候为轮询 rs 提供；
三台机器，每台机器只需要配置 1 个 ip，vip 是用脚本执行后会出现的，不用手动设置；
director（eth1:192.168.11.11 vip eth1:0 192.168.11.110）
real server1（eth1:192.168.11.100 vip lo:0: 192.168.11.110）
real server1（eth1:192.168.11.101 vip lo:0: 192.168.11.110）

Director 上 vim /usr/local/sbin/lvs_dr.sh // 增加下面的内容
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.11.110
rs1=192.168.11.100
rs2=192.168.11.101
ifconfig eth1:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth1:0
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

两台 rs 上：vim /usr/local/sbin/lvs_dr_rs.sh
#! /bin/bash
vip=192.168.11.110
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo “1” >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo “2” >/proc/sys/net/ipv4/conf/lo/arp_announce
echo “1” >/proc/sys/net/ipv4/conf/all/arp_ignore
echo “2” >/proc/sys/net/ipv4/conf/all/arp_announce

然后 director 上执行: bash /usr/local/sbin/lvs_dr.sh
两台 rs 上执行: bash /usr/local/sbin/lvs_dr_rs.sh

执行完成后 ifconfig 可以显示虚拟 ip 地址；dr 显示 eth1:0，rs1、rs2 显示 lo:0；
eth1:0 Link encap:Ethernet HWaddr 00:0C:29:70:4E:58
inet addr:192.168.11.110 Bcast:192.168.11.110 Mask:255.255.255.255
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Interrupt:18 Base address:0x2080

lo:0 Link encap:Local Loopback
inet addr:192.168.11.110 Mask:255.255.255.255
UP LOOPBACK RUNNING MTU:65536 Metric:1ipvsadm -ln 列出规则
[root@dr ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.11.110:80 rr
-> 192.168.11.100:80 Route 1 0 3
-> 192.168.11.101:80 Route 1 0 3 单独启动一台 linux 机器进行测试，浏览器测试有缓存不明显；
curl 192.168.11.110 进行测试，各出现 1 次说明 rr 轮询规则 OK；
[root@localhost ~]# curl 192.168.11.110
rs1rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs2rs2rs2
[root@localhost ~]# curl 192.168.11.110
rs1rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs2rs2rs2 更改轮询算法为 wrr，权重为 2；然后执行文件，报错提示文件已存在；原因是 /usr/local/sbin/lvs_dr.sh 脚本文件里面已经 up 了 eth1:0，所以需要在脚本里面增加：ifconfig eth1:0 down，之后就不会报错；
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 2
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1[root@dr ~]# bash /usr/local/sbin/lvs_dr.sh
SIOCADDRT: 文件已存在其中一台 rs 如果挂了之后，还是会轮询访问，所以会出现一会能打开一会打不开；
模拟，rs2 停止 nginx：/etc/init.d/nginx stop
使用 curl 测试，请求还是会发送到 rs2 上面，但是已经提示不能连接到主机；
[root@localhost ~]# curl 192.168.11.110
rs1rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs1rs1rs1
[root@localhost ~]# curl 192.168.11.110
curl: (7) couldn’t connect to hostlvs 本身不会剔除已经死掉的 real server，所以需要结合 keeplived；