Varnish调优手记

110次阅读

共计 13216 个字符，预计需要花费 34 分钟才能阅读完成。

目录
一、介绍
二、安装
RPM 安装
编译安装
安装依赖包
安装 pcre
编译
三、VCL 执行过程
四、通过日志调优
五、负载均衡
六、优雅模式和神圣模式
Grace mode
Saint mode
七、完整示例
八、管理命令
varnishncsa（以 NCSA 的格式显示日志）
varnishlog（varnish 详细日志）
varnishtop
varnishstat
varnishadm

最近公司做活动推广，流量暴增，后端服务器压力很大，导致用户的请求响应时间延长，客户因此抱怨声音很大。

为尽快解决问题，在安排人员不断优化后端代码的同时，考虑在 nginx 前增加 varnish 缓存层，只透传部分动态请求过去，直接减少后端服务器的压力。

在实际使用中，真正感受到了 varnish 服务器强大的威力！在不断的调优缓存命中率后，后端服务器 cpu 直接从 80% 降到了 20%，再大的压力前端也可以直接消化，后端服务器表示毫无压力。有了这玩意，可以再也不用在后台写定时任务，不断重新生成静态页面了，直接丢缓存里完事！此外，varnish 还支持一种叫“神圣模式”，在后端服务器报错返回 500 的时候，varnish 还能继续优先返回过去缓存的内容，为用户屏蔽部分错误，这东东有时真算是救命稻草啊。

但同时，也趟了 n 多的坑，varnish 中的 VCL 语言太过强大和灵活，稍微运用不好就会中枪。而网上公开的大多数 varnish 配置文件都是一大抄，根本无法直接用于生产。在研究了几天，翻阅了大量各种资料后，才总算把遇到的问题都解决了。

现将调优心得记录如下：

一、介绍

Varnish 是一种专业的网站缓存软件（其实就是带缓存的反向代理服务），它可以把整个 HTTP 响应内容缓存到内存或文件中，从而提高 Web 服务器的响应速度。

Varnish 内置强大的 VCL（Varnish Configuration Language）配置语言，允许通过各种条件判断来灵活调整缓存策略。在程序启动时，varnish 就把 VCL 转换成二进制代码，因此性能非常高。

二、安装

epel 源里也有 varnish，但是却 2.x 版本的。

因为 varnish 3.0 的配置文件与 2.x 的存在很大不同，因此 varnish 团队不能再更新 epel 里的软件源。如果你想安装最新版本，推荐使用 rpm 方式。

RPM 安装

在 RedHat 系服务器上可以很容易的直接通过 rpm 包安装：

wget http://repo.varnish-cache.org/redhat/varnish-3.0/el6/x86_64/varnish/varnish-libs-3.0.4-1.el6.x86_64.rpm
wget http://repo.varnish-cache.org/redhat/varnish-3.0/el6/x86_64/varnish/varnish-3.0.4-1.el6.x86_64.rpm
wget http://repo.varnish-cache.org/redhat/varnish-3.0/el6/x86_64/varnish/varnish-docs-3.0.4-1.el6.x86_64.rpm

yum localinstall *.rpm

varnish 的安装和配置路径

/etc/varnish/default.vcl #默认配置文件存文件
/etc/sysconfig/varnish #服务启动参数脚本
/etc/init.d/varnish #服务控制脚本

可以通过调整 /etc/sysconfig/varnish 配置文件中的参数来调整启动参数，设置线程池、缓存到内存还是文件等。当然如果你乐意也可以在 varnishd 后面带上启动参数手工启动服务和管理。

现在可以通过服务的方式启动 varnish 了：

service varnish start (stop/restart)

将 varnish 设为开机自启动：

chkconfig varnish on

编译安装

安装依赖包

yum install ncurses-devel.x86_64

此步可选。

如果你在编译 varnish 后 bin 目录中没有发现 varnishstat、varnishtop、varnishhist 这三个程序的话，就是因为编译前没有安装与操作系统位数对应的 ncurses-devel。这些工具非常好用，因此建议先安装这个依赖包。

安装 pcre

varnish 依赖 pcre 进行 url 正则匹配。

cd pcre-8.12

./configure –prefix=/usr/local/

make&&make install

编译

解压缩 varnish 源码包
wget http://repo.varnish-cache.org/source/varnish-3.0.4.tar.gz
cd /root
tar -zxvf varnish-3.0.4.tar.gz
cd varnish-3.0.4
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig
./configure –prefix=/usr/local/varnish
make && make install

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2013-11/93119p2.htm

Varnish 的详细介绍：请点这里
Varnish 的下载地址：请点这里

相关阅读：

Varnish Cache 的架构笔记 http://www.linuxidc.com/Linux/2013-10/91016.htm

CentOS 5.8 下 Varnish-2.1.5 的安装配置 http://www.linuxidc.com/Linux/2013-09/89916.htm

RedHat 脚本改用 CentOS 源更新安装 Nginx、PHP 5.3、Varnish http://www.linuxidc.com/Linux/2012-07/65801.htm

利用 Varnish 构建 Cache 服务器笔记 http://www.linuxidc.com/Linux/2012-07/65234.htm

缓存服务 Varnish 安装配置 http://www.linuxidc.com/Linux/2012-07/65228.htm

Varnish 编译安装所需准备 http://www.linuxidc.com/Linux/2012-07/65230.htm

Linux 下 Varnish 缓存的配置优化 http://www.linuxidc.com/Linux/2012-03/56435.htm

Varnish 权威指南（中文）PDF http://www.linuxidc.com/Linux/2013-10/91021.htm

先介绍一下 Varnish 处理请求的主要处理方法和流程
VCL 需定义几个默认的函数，在 Varnish 处理 HTTP 请求的各个阶段会回调这些函数进行处理：

vcl_recv，请求入口，判断是否要进一步处理，还是直接转发给后端（pass）。此过程中可以使用和请求相关的变量，例如客户端请求的 url，ip，user-agent，cookie 等，此过程中可以把不需缓存的地址，通过判断（相等、不相等、正则匹配等方法）透传给后端，例如 POST 请求，及 jsp、asp、do 等扩展名的动态内容；
vcl_fetch，当从后端服务器获取内容后会进入此阶段，除了可以使用客户端的请求变量，还可以使用从后端获取的信息（bersp），如后端返回的头信息，具体指定此信息的缓存时间 TTL；
vcl_miss 缓存未命中时中要做的处理
vcl_hit 缓存命中后做的处理
vcl_delever 发送给客户端前的处理
vcl_pass 交给后端服务器
vcl_hash 设置缓存的键值 key

首次请求时过程如下：
recv->hash->miss->fetch->deliver
缓存后再次请求：
recv->hash->hit->deliver（fetch 的过程没了，这就是我们要做的，把要缓存的页面保存下来）
直接交给后端 pass 的情况：
recv->hash->pass->fetch->deliver（直接从后端获取数据后发送给客户端，此时 Varnish 相当于一个中转站，只负责转发）

安装完成后，默认的配置文件位于
/etc/varnish/default.vcl
我们可以参考缺省配置项学习 vcl 语言的使用，并进行不断的调优。

但直接修改配置，不断的重启调优效率非常低下痛苦！经过不断摸索，我发现其实 varnish 里内置了日志模块，我们可以在 defalut.vcl 最上边引用 std 库，以便输出日志：

import std;

在需要输出日志的地方，使用 std.log 即可：

std.log(“LOG_DEBUG: URL=” + req.url);

这样的话，就可以通过日志了解 varnish 的工作流程，很方便的优化啦，效率何止提高十倍！

类似于你想跟踪哪些连接没有命中缓存，可以在 vcl_miss 函数中这样写：

sub vcl_miss {
td.log(“url miss!!! url=” + req.url);
return (fetch);
}

启动 varnish 后，通过 varnishlog 工具跟踪打印出的日志

varnishlog -I LOG

Varnish 可以挂载多个后端服务器，并进行权重、轮询，将请求转发到后端节点上，以达到避免单点的问题。
举例如下：
backend web1 {
.host = “172.16.2.31”;
.port = “80”;
.probe = {
.url = “/”;
.interval = 10s;
.timeout = 2s;
.window = 3;
.threshold = 3;
}
}
backend web2 {
.host = “172.16.2.32”;
.port = “80”;
.probe = {
.url = “/”;
.interval = 10s;
.timeout = 2s;
.window = 3;
.threshold = 3;
}
}
# 定义负载均衡组
director webgroup random {
{
.backend = web1;
.weight = 1;
}
{
.backend = web2;
.weight = 1;
}
}

其中，在 backend 中添加 probe 选项，将可以对后端节点进行健康检查。如果后端节点无法访问，将会自动摘除掉该节点，直到这个节点恢复。

需要注意 window 和 threshold 两个参数。当有后端服务器不可达时，varnish 会时不时的报 503 错误。网上查出的资料都是改线程组什么的，经测试完全无效。后来发现，只要将 window 和 threshold 两个参数的值设成一样的，503 现象就再没有发生了。