高性能的开源http加速器Varnish介绍

481次阅读

共计 6019 个字符，预计需要花费 16 分钟才能阅读完成。

Varnish
一、varnish 简介
Varnish 是一款高性能的开源 HTTP 加速器，它比 squid 还稳定，且效率更高，资源占用更少。相信在反向代理，web 加速方面，varnish 已经有足够能力代替 squid。挪威最大的在线报纸 Verdens Gang 使用 3 台 Varnish 代替了原来的 12 台 Squid，性能比以前更好。

二、Varnish 的结构与特点
Varnish 是一个轻量级的 Cache 和反向代理软件，先进的设计理念和成熟的设计框架是 Varnish 的主要特点，现在的 Varnish 总共代码量不大，功能上虽然在不断改进，但是还需要继续丰富和加强。下面总结了 Varnish 的一些特点：
（1）是基于内存缓存，重启后数据将消失。
（2）利用虚拟内存方式，io 性能好。
（3）支持设置 0~60 秒内的精确缓存时间。
（4）VCL 配置管理比较灵活。
（5）32 位机器上缓存文件大小为最大 2G。
（6）具有强大的管理功能，例如 top，stat，admin，list 等。
（7）状态机设计巧妙，结构清晰。
（8）利用二叉堆管理缓存文件，达到积极删除目的。

三、varnish 的系统架构
varnish 主要运行两个进程：Management 进程和 Child 进程(也叫 Cache 进程)。

Management 进程主要实现应用新的配置、编译 VCL、监控 varnish、初始化 varnish 以及提供一个命令行接口等。Management 进程会每隔几秒钟探测一下 Child 进程以判断其是否正常运行，如果在指定的时长内未得到 Child 进程的回应，Management 将会重启此 Child 进程。

Child 进程包含多种类型的线程，常见的如：
cache-main 线程：全局只有一个，用于启动 cache；
acceptor 线程：接收新的连接请求并响应；
worker 线程：child 进程会为每个会话启动一个 worker 线程，因此，在高并发的场景中可能会出现数百个 worker 线程甚至更多；
expiry 线程：从缓存中清理过期内容；
backend poll 线程：每个后端服务器一个，用于检测后端服务器的健康状况；
epoll/kqueue 线程：数量可配置，默认为 2，用于管理线程池

在配置 varnish 时，一般只需为关注 cache-worker 线程，而且也只能配置其线程池的数量，而除此之外的其它均非可配置参数。与此同时，线程池的数量也只能在流量较大的场景下才需要增加，而且经验表明其多于 2 个对提升性能并无益处。

四、Varnish 的安装
由于我使用的系统为 RHEL5.8，因此在安装 varnish 之前，需要安装如下软件包：
automake，autoconf，libtool，ncurses-devel，libxslt，groff，pcre-devel，pkgconfig
# yum -y install *.rpm

编译安装 varnish
# tar xf varnish-2.1.3.tar.gz
# cd varnish-2.1.3
# ./configure –prefix=/usr/loca/varnish

# make && make install

为 varnish 提供配置文件
将 varnish 的默认配置文件复制成为 /etc/sysconfig/varnish
# cp /usr/local/varnish/etc/varnish/default.vcl /etc/sysconfig/varnish

创建 Varnish 用户和 Varnish 的工作目录
# useradd –s /sbin/nologin varnish
#mkdir /web/cache
#chown –R varnish:varnish /web/cache

在 varnish 2.0 版本中，启动 varnish 之前首先需要为 varnish 指定后端服务器地址，因此，我们需要编辑 varnish 的配置文件，指定后端服务器地址。
# vim /etc/sysconfig/varnish
添加如下信息即可：
backend default {
.host = “127.0.0.1”;
.port = “80”;
}

五、varnish 的启动和停止
# /usr/local/varnish/sbin/varnishd -f /etc/sysconfig/varnish -s malloc,200M -T 127.0.0.1:2000 -a 0.0.0.0:8080
-f：指定 varnish 的配置文件
-s：指定 varnish 的存储类型和存储容量
-T：指定一个基于本文的管理接口，可用于在不停止 varnish 的情况下来管理 varnish
-a：指定监听的套接字

查看 varnish 是否启动成功
# netstat -tunlp | grep varnish
tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN 18684/varnishd
tcp 0 0 127.0.0.1:2000 0.0.0.0:* LISTEN 18683/varnishd
其中 8080 为 Varnish 监听的端口，2000 为 Varnish 基于 telnet 的管理端口。

停止 Varnish，使用如下命令
# killall varnishd

六、Varnish 的二进制程序文件
在安装 Varnish 后，会生成许多二进制程序文件，其中常见的命令有：
/usr/local/varnish/sbin/varnishd: 这种 Varnish 的启动命令，最重要
/usr/local/varnish/bin/varnishadm：可用来控制管理 Varnish 实例的。如删除缓存对象
/usr/local/varnish/bin/varnishlog: 显示 Varnish 的日志信息
/usr/local/varnish/bin/varnishncsa：这个命令也可以显示 Varnish 的日志信息，只不过这个命令显示的日志信息的格式有点类似于 apache 的 combine 格式输出的日志。
/usr/local/varnish/bin/varnishstat：显示 Varnish 的缓存信息

七、varnishd 指令
varnishd 的启动命令是 /usr/local/varnishd/sbin/varnisd 命令，这个命令有众多参数，可以使用 /usr/local/varnish/sbin/varnishd –h 来查看相关参数的详细信息。其中常用的参数有：
-a address:port：指定 Varnish 监听的套接字
-b address:port：指定后端服务器地址及其监听端口
-d：表示 debug 调试模式
-f file：指定 Varnish 的配置文件
-P file：指定 Varnish 的 pid 文件
-p param=value：指定服务器参数，用来优化 Varnish 性能的
-n dir：指定 Varnish 的工作目录
-s kind[,storageoptions]：指定 Varnish 后端存储的方式。常用的后端存储方式有：
-s malloc，-s file,<dir_or_file>,<size>。注意在 32 位的操作系统下，Varnish 最大仅支持 2G 的容量存储。
-t：指定缺省的 ttl 值
-T address:port：设定 Varnish 基于 telnet 的管理地址及其端口
-V：指定 Varnish 的版本号
-w int[,int[,int]]：指定 Varnish 的工作线程数。其配置方式有如下几种：
-w <fixed_count>
-w min,max
-w min,max,timeout [default: -w2,500,300]

八、Varnish 是如何记录数据的？
Varnish 一个比较显著的特点就是它如何记录数据的，varnish 将所有的数据全部记录到内存当中，当内存全部使用以后，又从头开始记录，覆盖最旧的记录。因此，这样就可以很快的记录数据，而且也不占用磁盘空间。不过，一旦服务器宕机的话，则内存中所有的数据都会被释放。

九、varnishlog 指令
Varnish 提供了众多的工具来查看内存中的数据，在这里我只说 varnishlog 的应用
在命令行上执行 varnishlog 命令，显示结果如下：
17 RxHeader c Accept-Encoding: gzip, deflate
17 RxHeader c Host: 192.168.108.202:8080
17 RxHeader c Connection: Keep-Alive
17 VCL_call c recv
17 VCL_return c lookup
17 VCL_call c hash
17 VCL_return c hash
其中第一列是任意的数，它用来定义请求，相同的号码代表相同的 HTTP 传输。
第二列是信息标记，所有的日志都带有一个标记（tag），标记对应相对的操作。Rx 表示 varnish 收到数据，Tx 表示 varnish 发送数据。
第三列代表数据是从哪里传出或者传入的，是从 c（client）还是 b（backend）。
第四列是被记录的数据。
Varnishlog 还有许多子选项：
-b：只显示 varnish 和 backend server 之间的日志，当您想要优化命中率的时候可以使用这个参数。
-c：和 - b 差不多，不过它代表的是 varnish 和 client 端的通信。
-i tag：只显示某个 tag 相关的信息，比如“varnishlog –iSessionOpen”将只显示新会话，注意，这个地方的 tag 名字是不区分大小写的。
-I：通过正则表达式过滤数据，比如“varnishlog -c -i RxHeader -I Cookie”将显示所有接到来自客户端的包含 Cookie 单词的头信息。

十、varnishstat 指令
varnishstat 的二进制程序是 /usr/local/varnish/bin/varnishstat。缓存命中率的高低直接说明了 varnish 的运行状态和效果，较高的缓存命中率说明了 varnish 运行状态良好，web 服务器的性能也会提高很多，反之，过低的缓存命中率说明 varnish 的配置可能存在问题，那么就需要进行调整，因此，从整体上了解 varnish 的命中率和缓存状态，对于优化和调整 varnish 至关重要。
使用 /usr/local/varnish/bin/varnishstat 命令可以查看 Varnish 的缓存状态信息。如：
# /usr/local/varnish/bin/varnishstat
Hitrate ratio: 1 1 1
Hitrate avg: 0.5294 0.5294 0.5294

18 0.00 0.01 Client connections accepted
17 0.00 0.01 Client requests received
9 0.00 0.00 Cache hits
8 0.00 0.00 Cache misses
8 0.00 0.00 Backend conn. success
8 0.00 0.00 Fetch with Length
11 . . N struct sess_mem
1 . . N struct objectcore
1 . . N struct objecthead
1 . . N struct smf
1 . . N large free smf
10 . . N worker threads
10 0.00 0.00 N worker threads created
1 . . N backends
8 . . N expired objects
8 . . N LRU moved objects
10 0.00 0.00 Objects sent with write
18 0.00 0.01 Total Sessions
17 0.00 0.01 Total Requests

其中比较重要的参数有：
Client connections accepted：表示接受的连接数
Client requests received：表示接受的请求总数，如果使用了长连接，那么该值一般大于 Client connections accepted 值
Cache hits：表示命中的次数
Cache misses：表示非命中的次数
N struct objectcore：表示被缓存对象的数量
N expired objects：表示过期的缓存对象数量
N LRU moved objects：表示被淘汰的缓存对象数量