首页 > 代码库 > Varnish安装与配置
Varnish安装与配置
Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸Verdens Gang使用3台Varnish代替了原来的12台Squid,性能居然比以前更好。Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一,他认为现在的计算机比起1975年已经复杂许多。在1975年时,储存媒介只有两种:内存与硬盘。但现在计算机系统的内存除了主存外,还包括了cpu内的L1、L2,甚至有L3快取。硬盘上也有自己的快取装置,因此Squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化,但操作系统可以得知这些情况,所以这部份的工作应该交给操作系统处理,这就是Varnish cache设计架构。目前很多互联网公司在使用Varnish,其中包括Facebook。
特性:
- VCL(Varnish Configuration Language):区别于其他系统,Varnish采用了自身的配置语言来配置,非常容易上手,这些配置会被编译成二进制机器码,明显加快了执行速度。
- Health checks:完善的健康检查机制。
- ESI(Edge Side Includes):在HTML中嵌入动态脚本文件。
- Directors:后端服务器的调度方式:random,round-robin,client,hash,DNS。
- Purging and banning:强大的缓存清除功能,可以以正则表达式的形式清除缓存。
- Logging in Varnish:Varnish的log不是记录在文件中的,而是记录在共享内存中。当日志大小达到分配的共享内存容量,覆盖掉旧的日志。以这种方式记录日志比文件的形式要快很多,并且不需要磁盘空间。
- 丰富的管理程序:varnishadm,varnishtop,varnishhist,varnishstat以及varnishlog等。
环境:CentOS 6.5
yum install ncurses-devel安装Varnish
wget https://repo.varnish-cache.org/source/varnish-4.0.1.tar.gz tar -zxvf varnish-4.0.1.tar.gz cd varnish-4.0.1 ./configure --prefix=/usr/local/varnish make && make install可能会报的错: No package ‘libpcre‘ found 错误
/usr/local/varnish-2.1.5/sbin/varnishd -f /usr/local/varnish-2.1.5/etc/varnish/default.vcl -T 127.0.0.1:2000 -a 0.0.0.0:80 -s file,/tmp,200M其中
-f
用来指定配置文件,-T
指定管理台的访问地址,-a
指定Varnish监听地址,-s
指定Varnish以文件方式来缓存资源,地址为/tmp,大小200MB。可能会报的错:
Message from VCC-compiler: No backends or directors found in VCL program, at least one is necessary. Running VCC-compiler failed, exit 1 VCL compilation failed解决办法:没有设置varnish配置文件
backend default { .host = "127.0.0.1"; .port = "8080"; .connect_timeout = 5s; .first_byte_timeout= 5s; .probe = { #health check .url = "/check.txt"; .interval = 5s; .timeout = 5s; .window = 5; .threshold = 3; } } sub vcl_recv { if (req.restarts == 0) { if (req.http.x-forwarded-for) { set req.http.X-Forwarded-For = req.http.X-Forwarded-For ", " client.ip; } else { set req.http.X-Forwarded-For = client.ip; } } if (req.request != "GET" && req.request != "HEAD" && req.request != "PUT" && req.request != "POST" && req.request != "TRACE" && req.request != "OPTIONS" && req.request != "DELETE") { /* Non-RFC2616 or CONNECT which is weird. */ return (pipe); } if (req.request != "GET" && req.request != "HEAD") { /* We only deal with GET and HEAD by default */ return (pass); } if (req.http.Authorization || req.http.Cookie) { /* Not cacheable by default */ return (pass); } return (lookup); } sub vcl_pipe { # Note that only the first request to the backend will have # X-Forwarded-For set. If you use X-Forwarded-For and want to # have it set for all requests, make sure to have: # set bereq.http.connection = "close"; # here. It is not set by default as it might break some broken web # applications, like IIS with NTLM authentication. return (pipe); } sub vcl_pass { return (pass); } sub vcl_hash { set req.hash += req.url; if (req.http.host) { set req.hash += req.http.host; } else { set req.hash += server.ip; } return (hash); } sub vcl_hit { if (!obj.cacheable) { return (pass); } return (deliver); } sub vcl_miss { return (fetch); } sub vcl_fetch { if (!beresp.cacheable) { return (pass); } if (beresp.http.Set-Cookie) { return (pass); } return (deliver); } sub vcl_deliver { return (deliver); } sub vcl_error { set obj.http.Content-Type = "text/html; charset=utf-8"; synthetic {" <?xml version="1.0" encoding="utf-8"?> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html> <head> <title>"} obj.status " " obj.response {"</title> </head> <body> <h1>Error "} obj.status " " obj.response {"</h1> <p>"} obj.response {"</p> <h3>Guru Meditation:</h3> <p>XID: "} req.xid {"</p> <hr> <p>Varnish cache server</p> </body> </html> "}; return (deliver); }
启动脚本
wget -O varnishd https://raw.github.com/gist/3671408/3a51578bbd60a4cf8317bdc9508527b81eb23da5/varnishd cp varnishd /etc/init.d/varnishd chmod +x /etc/init.d/varnishd /etc/init.d/varnishd start
Subroutine列表
vcl_recv 在请求开始时候被调用,在请求已经被接收到并且解析后调用。目的就是决定是否处理这个请求,怎么处理,使用哪个后端。vcl_recv以
return
结束,参数可以为如下关键字:
error code [reason]:返回错误码给客户端,丢弃请求。
pass:转换到pass模式。控制权最后会转移到vcl_pass
。
pipe:转换到pipe模式。控制权最后会转移到vcl_pipe
。
lookup:在缓存中寻找请求对象。控制权最后会转移到vcl_hit
或者vcl_miss
,决定于对象是否在缓存中。vcl_pipe 当进入pipe模式的时候被调用。在这个模式中,请求会被转移到后端,后续的数据不管是从客户端还是后端来的都会以不变的方式传送,直到连接关闭为止。vcl_pipe以
return
结束,参数可以为如下关键字:
error code [reason]:返回错误码给客户端,丢弃请求。
pipe:以pipe模式执行。vcl_pass 当进入pass模式的时候会被调用。在这个模式中,请求会被传送到后端,然后后端的响应会被传送回客户端,但是响应不会进入缓存中。接下来通过相同客户端连接发起的请求会以普通的方式来处理。vcl_pass以
return
结束,参数可以为如下关键字:
error code [reason]:返回错误码给客户端,丢弃请求。
pass:以pass模式执行。
restart:重新启动这个事务。增加了重启计数。如果重启的次数高于max_restarts
,varnish会引起一个错误。vcl_hash 你如果把想把数据加入到hash中,那么调用hash_data()。vcl_hash以
return
结束,参数可以为如下关键字:
hash:执行hash逻辑。vcl_hit 如果请求的对象在缓存中被找到了,那么在缓存查找结束后被调用。vcl_hit以
return
结束,参数可以为如下关键字:
deliver:deliver缓存对象到客户端。控制权最后会转移到vcl_deliver
。
error code [reason]:返回错误码给客户端,丢弃请求。
pass:切换到pass模式。控制权最后会转移到vcl_pass
。
restart:重新启动这个事务。增加了重启计数。如果重启的次数高于max_restarts
,varnish会引起一个错误。vcl_miss 如果请求的对象在缓存中没有被找到,那么在缓存查找结束后被调用。目的是为了决定是否去后端获取这个请求对象,并且要选择哪个后端。vcl_miss以return结束,参数可以为如下关键字:
error code [reason]:返回错误码给客户端,丢弃请求。
pass:切换到pass模式。控制权最后会转移到vcl_pass
。
fetch:去后端获取请求对象。控制权最后会转移到vcl_fetch
。vcl_fetch 当一个对象被成功从后端获取的时候此方法会被调用。vcl_fetch以
return
结束,参数可以为如下关键字:
deliver:可能把对象放入缓存中,然后再deliver到客户端。控制权最后会转移到vcl_deliver
。
error code [reason]:返回错误码给客户端,丢弃请求。
esi:以ESI形式来处理刚刚被获取到的对象。
pass:切换到pass模式。控制权最后会转移到vcl_pass
。
restart:重新启动这个事务。增加了重启计数。如果重启的次数高于max_restarts
,varnish会引起一个错误。vcl_deliver当一个缓存的对象被deliver到客户端的时候,此方法会被调用。vcl_deliver以
return
结束,参数可以为如下关键字:
deliver:发送对象到客户端。
error code [reason]:返回错误码给客户端,丢弃请求。
restart:重新启动这个事务,增加重启计数。如果重启的次数高于max_restarts
,varnish会引起一个错误。vcl_error 当遇见一个错误的时候会被调用,错误可能是跟后端有关系或者内部错误。vcl_error以
return
结束,参数可以为如下关键字:
deliver:发送对象到客户端。
restart:重新启动这个事务,增加重启计数。如果重启的次数高于max_restarts
,varnish会引起一个错误。
重要变量
subroutine不带参数,一般通过全局变量来实现信息的传递。
如下变量在backend中有效:
- .host:backend的主机名或者IP。
- .port:backend的端口。
如下变量在处理一个请求(例如vcl_recv
)的时候可用:
- client.ip:客户端IP地址。
- server.hostname:服务器的主机名。
- server.identity:服务器标示,当启动varnish的时候用
-i
参数来指定。如果varnish启动时候没有指定-i
参数,那么server.identity会被设置为用-n
参数所指定的实例名称。 - server.ip:服务器IP地址。
- server.port:服务器端口。
- req.request:请求类型(例如
GET
,HEAD
)。 - req.url:请求的URL。
- req.proto:HTTP协议版本。
- req.backend:处理请求的后端服务器。
- req.backend.healthy:后端是否健康。health check需要在
backend
的probe
中进行设置。 - req.http.header:相关的HTTP头。
- req.hash_always_miss:强迫对于本次请求的缓存查找结果为miss。如果设置为
true
,那么varnish将会忽略任何存在的缓存对象,一直从后端重新获取资源。 - req.hash_ignore_busy:在缓存查找时候忽略任何忙的对象。如果有两个服务器,彼此互相查找缓存内容,那么可以使用这个变量来避免潜在的死锁。
如下变量在准备一个后端请求(比如在cache miss
或者pass
,pipe
模式)的时候可用:
- bereq.request:请求的类型(比如
GET
,HEAD
)。 - bereq.url:请求的URL。
- bereq.proto:与后端服务器交互的HTTP协议版本。
- bereq.http.header:相关的HTTP头。
- bereq.connect_timeout:与后端连接的超时时间。
- bereq.first_byte_timeout:从后端返回第一个字节所需等待的秒数,在
pipe
模式中不可用。 - bereq.between_bytes_timeout:从后端返回的每个字节之间的时间间隔,以秒计。在
pipe
模式中不可用。
如下的变量在请求对象从后端返回之后,在其被放入缓存之前可用。换句话说,也就是在vcl_fetch
中可用。
- beresp.proto:HTTP协议版本。
- beresp.status:后端返回的HTTP状态码(例如200,302等)。
- beresp.response:后端返回的状态内容(例如
OK
,Found
)。 - beresp.cacheable:如果请求的结果是可以被缓存的,那么此变量为
true
。如果HTTP状态码为200, 203, 300, 301, 302, 404,410之一并且pass
没有在vcl_recv
中被调用,那么这个结果就是可以被缓存的。如果response的TTL
和grace time
都为0,那么beresp.cacheable
将会为0。beresp.cacheable
是可写的。 - beresp.ttl:缓存对象的生存时间,以秒为单位,这个变量是可写的。
在对象已经存在于缓存中并被查询到的时候,一般在vcl_hit
和vcl_deliver
中,如下的变量(大部分是read-only)可用:
- obj.proto:与后端交互的HTTP版本协议。
- obj.status:后端返回的HTTP状态码。
- obj.response:后端返回的HTTP状态内容。
- obj.cacheable:如果对象的beresp.cacheable为
true
,那么此变量的值为true
。除非你强制delivery,否则obj.cacheable
一直为true
。 - obj.ttl:缓存对象的生存时间,以秒为单位,这个变量是可写的。
- obj.lastuse:从现在到对象最近一次访问所间隔的时间,以秒为单位。
- obj.hits:对象被发送到客户端的次数,0表示缓存查询miss了。
如下变量在决定对象hash key的时候可用:
- req.hash:hash key被用来关联一个缓存中的对象。在读写缓存的时候都会被用到。
如下变量在准备把一个响应发送给客户端时候可用:
- resp.proto:响应使用的HTTP协议版本。
- resp.status:将要返回的HTTP状态码。
- resp.response:将要返回的HTTP状态内容。
- resp.http.header:相关的HTTP头。