构建高可用nginx集群

共计 3106 个字符，预计需要花费 8 分钟才能阅读完成。

案例需求

部署基于 nginx 分发器的高可用 web 集群

• 分发器故障自动切换
• 数据服务器自动容错
• 任何机器宕机不中断 web 业务

实验拓扑

实验环境

实验步骤

a、配置 nginx 集群

master&backup 安装 nginx 和 keepalived
修改 nginx 配置文件
[root@master ~]# vim /usr/local/nginx/conf/nginx.conf
worker_processes  1;
events {worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
         upstream web {server 192.168.0.42 max_fails=2 fail_timeout=3;#3 秒内失败 2 次，则认为此节点失效
                server 192.168.0.43 max_fails=2 fail_timeout=3;
        }
server {listen  80;
        server_name     localhost;
        location / {proxy_pass http://web;}
}
}

b、配置 keepalived

[root@master ~]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
global_defs {router_id NGINX_DEVEL}
vrrp_script check_nginx {# 定义脚本的名称为 check_nginx
    script "/etc/keepalived/nginx_pid.sh"	# 检查对应位置的文件是否存在
    interval 2	# 定义执行间隔为 2 秒
    fall 1	# 失败次数为 1 次
}
vrrp_instance nginx {# 定义实例名称为 nginx
    state MASTER	# 定义主机状态
    interface ens33	# 定义通信接口，VIP 绑定的接口
    mcast_src_ip 192.168.0.40	# 定义发送 vrrp 广播的源地址，模式使用 VIP 绑定网卡的主 IP 地址
    virtual_router_id 51# 定义 VRID，主从设备 vrid 要抑制
    priority 100# 定义优先级
    advert_int 1	# 定义检查间隔，默认 1 秒
    authentication {# 设置认证，同一 vrid 的设备要抑制
        auth_type PASS	# 认证方式为 PASS
        auth_pass 1111	# 认证密码为 1111
    }
    track_script {check_nginx	# 调用在 vrrp_script 中定义的内容
    }
    virtual_ipaddress {192.168.0.150/24
    }
}



[root@backup ~]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
global_defs {router_id NGINX_DEVEL}
vrrp_script check_nginx {script "/etc/keepalived/nginx_pid.sh"
    interval 2
    fall 1
}
vrrp_instance nginx {
    state BACKUP
    interface ens33
    mcast_src_ip 192.168.0.41
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {check_nginx}
    virtual_ipaddress {192.168.0.150/24
    }
}

c、构建关联脚本

[root@master ~]# vim /etc/keepalived/nginx_pid.sh
#!/bin/bash
nginx_kp_check () {
    nginxpid=`ps -C nginx --no-header |wc -l`
    if [$nginxpid -eq 0 ];then
        /usr/local/nginx/sbin/nginx
        sleep 1
        nginxpid=`ps -C nginx --no-header |wc -l`
        if [$nginxpid -eq 0 ];then
            systemctl stop keepalived
        fi
    fi
}

nginx_kp_check

[root@backup ~]# vim /etc/keepalived/nginx_pid.sh 
#!/bin/bash
nginx_kp_check () {
    nginxpid=`ps -C nginx --no-header |wc -l`
    if [$nginxpid -eq 0 ];then
        /usr/local/nginx/sbin/nginx
        sleep 1
        nginxpid=`ps -C nginx --no-header |wc -l`
        if [$nginxpid -eq 0 ];then
            systemctl stop keepalived
        fi
    fi
}

nginx_kp_check

脚本功能说明：统计 nginx 进程数量，如果进程数量的值等于 0，说明 nginx 挂了，那么执行 /usr/local/nginx/sbin/nginx 去启动分发器，等待1 秒后再次检查进程数量，如果进程数量的值还是等于0，则执行 systemctl stop keepalived 停止 keepalived 服务。这样就停止发组播，释放 VIP，而备用服务器就开始接手工作了。

集群高可用性测试

集群测试：使用客户端正常访问 VIP

[root@client ~]# curl 192.168.0.150
web1
[root@client ~]# curl 192.168.0.150
web2

在 master 上 down 掉 nginx 服务

[root@master ~]# watch -n1 'killall nginx'
每隔秒执行一次 killall nginx 命令
[root@master ~]# ip add #查看 VIP 是否还在
[root@backup ~]# ip add	#到 backup 主机上查看是否有 VIP

继续测试

[root@client ~]# curl 192.168.0.150
web1
[root@client ~]# curl 192.168.0.150
web2

重启 master 上的 keepalived 服务

[root@master ~]# ip add	#查看 VIP 是否飘回来
[root@master ~]# lsof -i :80	#查看 nginx 是否被启

再次测试

[root@client ~]# curl 192.168.0.150
web1
[root@client ~]# curl 192.168.0.150
web2

数据服务器宕机测试

停止 web1 主机上的 web 服务

[root@web1 ~]# systemctl stop httpd

切换到 client 主机测试

[root@client ~]# curl 192.168.0.150
web2
[root@client ~]# curl 192.168.0.150
web2

启动 web1 主机上的 web 服务

[root@web1 ~]# systemctl start httpd

切换到 client 主机测试

[root@client ~]# curl 192.168.0.150
web2
[root@client ~]# curl 192.168.0.150
web1