首页 > 代码库 > Haproxy + Varnish 实现WEB静态页面缓存

Haproxy + Varnish 实现WEB静态页面缓存



一.缓存介绍及Haproxy+Varnish架构图:


1.)简介:现阶段的互联网时代,缓存成为一个必不可少的一环,不论是对于整体架构的优化,减少服务器的压力,加速用户访问速度,都是需要用到缓存。而缓存的种类也是很多,例如CDN,Squid,Memcached,Varnish,已经成为一个中型,大型架构中基本的实现。

 

2.)CDN缓存技术是根据全国各地的用户,直接缓存到离用户最近的地方。


3.)Squid是处于前端的缓存,并且可以用作为正向代理,反向代理,透明代理。


4.)Memcached主要用于应用服务器和数据库之间的缓存,提高缓存命中率,减轻数据库的压力。


5.)Varnish缓存是介于代理服务器与WEB服务器之间,通过代理服务器访问到主机名后,直接先找              Varnish缓存,如果查找不到,再去麻烦后端的WEB服务器。

 

而下图就是作为Varnish所工作的区域:

wKioL1QjsIuDuh1-AAE-zkWuoEE334.jpg

二.Varnish工作原理介绍:

1.)Varnish进程分为master进程和child进程。master进程读入命令,进行一些初始化,而fork监控child进程。child进程分配若干线程进行工作,主要包括管理线程和很多woker线程。

 

2.)文件缓存部分,master读入存储配置,调用合适的存储类型,然后创读入相应大小的缓存大文件。接着,master初始化管理该存储空间的结构体。这些变量都是全局变量,在fork以后会被child进程所继承(包括文件描述符)。

 

3.)在child进程主线程初始化过程中,将前面打开的存储大文件整个mmap到内存中,创建并初始化分配内存。如果此时分配一个10M的内存,仅占用2M,其余8M内存暂时空闲,而不是全部使用。

 

4.)Varnish的accept负责接受新HTTP连接的线程开始等待用户,如果有新的HTTP连接过来,它总负责接收,然后叫醒某个等待中的线程,并把具体的处理过程交给它。Worker线程读入HTTP请求的URI,查找已有的object,如果命中则直接返回并回复用户。如果没有命中,则需要将所请求的内容,从后端服务器中取过来,存到缓存中,然后再回复。

 

5.)分配缓存时,根据所读到的object大小,创建相对应大小的缓存文件。如果内存已经占用满了,会根据设定的ttl值或者手动去释放内存。当内存已经占满的时候,没有自动释放内存或者手动释放内存,则Varnish会选择到swap分区继续缓存。


三.安装Varnish,版本是在官网下载的:

# yum installvarnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm


四.说说Varnish VCL内置变量:如下图

wKioL1Qjsd3AezThAAG7UHVkGKE105.jpg

wKiom1QjsbnAcMK6AAFZPSewGtU866.jpg

wKioL1Qjsd3Cc6ZlAAHCUMMVsTQ058.jpg

wKioL1QjsimzKlN7AAFSpobnxMg708.jpg


五.配置Varnish:

1.)刚安装好的varnish默认配置文件基本都是被注释掉的。用到什么配置的时候解释什么的。

# curl  http://172.16.32.14
<h1>Varnishproxy cache</h1>


 

2.)修改Varnish默认监听端口。

# vim/etc/sysconfig/varnish
VARNISH_LISTEN_PORT=80                           #修改默认监听端口为80端口
VARNISH_STORAGE="malloc,${VARNISH_STORAGE_SIZE}"


3.)定义后端主机。

# vim/etc/varnish/default.vcl
backend default {                                #定义后端主机
  .host = "172.16.32.14";
  .port = "80";
}

wKioL1QjsuyScwrgAACqa6JD4ZE808.jpg


可以看到通过访问172.16.32.10已经访问到172.16.32.14WEB主机中的内容了。


4.)Varnishadm管理使用。

# varnishadm -S/etc/varnish/secret -T 127.0.0.1:6082   #指定管理地址及端口
200        
 
varnish>vcl.list                                       #查看当前活动的vcl
200        
active          1 boot
 
varnish>vcl.load proxy proxy.vcl                       #定义一个新的vcl
200        
VCL compiled.
varnish>vcl.use proxy                                   #使新的vcl生效
200        
 
varnish>vcl.list 
200        
available       1 boot
active          0 proxy


5.)定义http响应客户端报文。

# vim/etc/varnish/proxy.vcl
sub vcl_deliver {
              if (obj.hits > 0) {                                                  #定义缓存次数命中大于0就是在缓存中获取到的
                       set resp.http.X-Cache = "HIT via"+ " " + server.hostname;   #在http响应报文中添加HIT自定义字符串
              } else {
                       set resp.http.X-Cache ="MISS via" + " " + server.hostname;  #如果没命中的http响应报文
              }
       }


6.)重新载入一个vcl。

varnish>vcl.load proxy2 proxy.vcl    #重新载入一个VCL,proxy2仅是个名字
200        
VCL compiled.
varnish>vcl.use proxy2                #使新加入的proxy2生效
200        
 
varnish>

wKiom1Qjs5DwHgpSAANySpbyLb0076.jpg

 

可以看到测试的响应结果,由于是浏览器是无痕浏览,每次都会显示未命中。正常访问的时候如下图

wKioL1QjtEGhsk-EAAN5Y8od5ks720.jpg


7.)定义varnish为代理服务器加缓存服务器。

# vim proxy.vcl
backend web1 {                         #定义后端两个主机
  .host = "172.16.32.14";
  .port = "80";
  .probe = {
        .url = "/index.html";          #需要缓存的页面
        .interval = 2s;                #检查间隔时长
        .window = 8;                   #维持8个Healthy
        .threshold = 2;                #最少2此window是成功的缓存
 }
}
backend web2 {
  .host = "172.16.32.15";
  .port = "80";
  .probe = {
        .url = "/index.html";
        .interval = 2s;
        .window = 8;
        .threshold = 2;
 }
}
directorwebservice round-robin {      #包含起定义的两个主机
  { .backend = web1; }
  { .backend = web2; }
}
 sub vcl_recv {
     set req.backend = webservice;     #调用两个主机
     if (req.restarts == 0) {
        if (req.http.x-forwarded-for) {
            set req.http.X-Forwarded-For =
                req.http.X-Forwarded-For +", " + client.ip;
        } else {
            set req.http.X-Forwarded-For =client.ip;
        }
        if (req.url ~ "^/test.html$"){   #如果访问的是test.html,将不缓存
                return(pass);
        }
     return (lookup);
     }
}
 sub vcl_deliver {
        if (obj.hits > 0) {
                set resp.http.X-Cache ="HIT via" + " " + server.hostname;
        } else {
                set resp.http.X-Cache ="MISS via" + " " + server.hostname;
        }
     return (deliver);
 }


8.)使新定义的acl生效。

varnish>vcl.load proxy8 proxy.vcl
200        
VCL compiled.
varnish>vcl.use proxy8
200        
 
varnish>vcl.load proxy9 proxy.vcl
200        
VCL compiled.
varnish>vcl.use proxy9
200        
 
varnish>backend.list           #查看在线列表
200        
Backend name                   Refs   Admin     Probe
default(172.16.32.14,,80)      3     probe      Healthy (no probe)
web1(172.16.32.14,,80)         5     probe      Healthy 8/8
web2(172.16.32.15,,80)         5     probe      Healthy 8/8



wKioL1QjtMnyF5FoAACco-ZcJM0116.jpg

wKiom1QjtHPQFJwsAACHUdMx-L0799.jpg

六.接下来是Haproxy + Varnish + Httpd组合:

1.)首先在172.16.32.11节点上安装varnish,并将172.16.32.10如下文件复制到想对应的目录

# scp /etc/varnish/* 172.16.32.11:/etc/varnish/
root@172.16.32.11‘spassword: 
default.vcl                                                                                        100% 3122     3.1KB/s   00:00   
proxy.vcl                                                                                          100%  660     0.6KB/s  00:00    
secret                                                                                             100%   37     0.0KB/s  00:00    

# scp/etc/sysconfig/varnish 172.16.32.11:/etc/sysconfig/
root@172.16.32.11‘spassword: 
varnish                                                                                             100%3659     3.6KB/s   00:00


2.)在172.16.32.10的节点删除如下段落:

backend web2 {
  .host = "172.16.32.15";
  .port = "80";
  .probe = {
        .url = "/index.html";
        .interval = 2s;
        .window = 8;
        .threshold = 2;
 }
}
directorwebservice round-robin {        
{ .backend = web1; }
  { .backend = web2; }
}


3.)而在172.16.32.15节点是相反操作。

 

4.)切换到172.16.32.15节点,启动varnish,添加新的vcl。

varnish>vcl.load proxy proxy.vcl
200        
VCL compiled.
varnish> vcl.useproxy
200

     

访问测试两个节点

wKiom1QjtWqAxw_IAACxAFeOk9s528.jpg

wKiom1QjtWqSAbmWAAC2gtB7RSE906.jpg


5.)安装haproxy,在172.16.32.9节点上。

# yum installhaproxy
# vim/etc/haproxy/haproxy.cfg
 
frontend main*:80    
default_backend varnish
backend varnish
    balance roundrobin
    server s1 172.16.32.10:80
server s2 172.16.32.11:80


输入地址172.16.32.9,反问测试

wKioL1Qjtj6x5s7TAANqp6DMDI8917.jpg

wKiom1QjthqjYM5-AAN2MQr8s6M653.jpg


因为之前的haproxy主机有WEB服务,测试的时候haproxy使用的8080端口,但是不影响正常访问。

可以看到,网页缓存下来了,并且实现调度。关于haproxy这里只是简单的使用下,之后会有详细的介绍,主要是varnish缓存。varnish可以缓存很多节点,我这里仅是1对1的实现了


本文出自 “你对谁都微笑” 博客,请务必保留此出处http://54276311.blog.51cto.com/9130197/1558091

Haproxy + Varnish 实现WEB静态页面缓存