首页 > 代码库 > nginx memcached模块解析
nginx memcached模块解析
1nginx memcached模块
1.1概述
nginx memcached是一个使用内存来为访问页面加速的模块,当客户端请求到达nginx服务器时,nginx会先通过键值(比如说uri),去访问memcached服务器,当能从memcached服务器获取到数据时,会直接将数据封装,返回给客户端,否则,则继续访问相关服务如php,从相关应用获取到内容发送给客户端,同时由相关应用主动将内容写入到memcached服务器,以便下次访问时能起到加速的效果。
nginx memcached模块与memcached服务器之间的交互是通过nginx的upstream机制来进行的。 应注意官方的memcached模块只有访问读取memcached服务器的能力,而没有将内容写入到memcached服务器的能力,某些第三方模块则有此功能。
1.2配置
一个典型的memcached访问配置如下,此处是nginx.conf里面的:
server {
listen 80;
server_name 192.168.3.139;
root html;
location ~* \.(gif|jpg|jpeg|png|bmp|swf|js|css)$ {
set $memcached_key $uri;
default_type text/html;
memcached_pass 192.168.3.139:11211;//memchaced服务器在192.168.3.139上面,访问该uri时,先去该服务器去取资源,取不到时跳转到@goto404的分支去处理
error_page 404 = @goto404; //当发生404错误时,重定向到@goto404去处理
}
location @goto404 {
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
rewrite ^(.*)? /goto.php?q=$1 break;
}
}
1.3源码分析
memcached模块依赖于nginx的upstream模块来实现,其主要处理部分,也都是嵌入到了memcached模块注册在upstream的各个回调函数中,下面用1.0.15版本来进行源码分析:
在上面这段代码中,我们主要关注在upstream中设置的create_request ,process_header ,input_filter 这几个字段所设定的函数:
ngx_http_memcached_create_request:用于构建发往memcached服务器的请求报文。
ngx_http_memcached_process_header:处理memcached服务器返回来的相应头部,计算响应体的长度,判断请求访问的状态(是否成功)。
ngx_http_memcached_filter:将upstream收到的各个响应包挂入reuqest的out_buf中,同时在这里会判断包体的接收是否结束。
下面会对这三个函数做详细解析,在此之前先对memcached服务器交互报文做个简单了解:
1.1概述
nginx memcached是一个使用内存来为访问页面加速的模块,当客户端请求到达nginx服务器时,nginx会先通过键值(比如说uri),去访问memcached服务器,当能从memcached服务器获取到数据时,会直接将数据封装,返回给客户端,否则,则继续访问相关服务如php,从相关应用获取到内容发送给客户端,同时由相关应用主动将内容写入到memcached服务器,以便下次访问时能起到加速的效果。
nginx memcached模块与memcached服务器之间的交互是通过nginx的upstream机制来进行的。 应注意官方的memcached模块只有访问读取memcached服务器的能力,而没有将内容写入到memcached服务器的能力,某些第三方模块则有此功能。
1.2配置
一个典型的memcached访问配置如下,此处是nginx.conf里面的:
server {
listen 80;
server_name 192.168.3.139;
root html;
location ~* \.(gif|jpg|jpeg|png|bmp|swf|js|css)$ {
set $memcached_key $uri;
default_type text/html;
memcached_pass 192.168.3.139:11211;//memchaced服务器在192.168.3.139上面,访问该uri时,先去该服务器去取资源,取不到时跳转到@goto404的分支去处理
error_page 404 = @goto404; //当发生404错误时,重定向到@goto404去处理
}
location @goto404 {
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
rewrite ^(.*)? /goto.php?q=$1 break;
}
}
1.3源码分析
memcached模块依赖于nginx的upstream模块来实现,其主要处理部分,也都是嵌入到了memcached模块注册在upstream的各个回调函数中,下面用1.0.15版本来进行源码分析:
memcached模块的配置主要是pass_proxy关键字,其相关处理函数是ngx_http_memcached_pass,其中处理流程包括建立upstream对应的数据结构等,但最重要的是下面这句 :
clcf->handler = ngx_http_memcached_handler;
ngx_http_memcached_handler;回调函数被注册到了请求包处理11个阶段的content phase阶段,在该阶段会去调用该处理函数。
那么在该处理函数中又做了什么呢,从代码上看主要是初始化upstream机制所用的各个数据结构,设置upstream机制所调用的各个回调函数,为与上游的memcached服务器做连接做好准备。具体代码解析如下:
static ngx_int_t ngx_http_memcached_handler(ngx_http_request_t *r) { ngx_int_t rc; ngx_http_upstream_t *u; ngx_http_memcached_ctx_t *ctx; ngx_http_memcached_loc_conf_t *mlcf; if (!(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD))) { return NGX_HTTP_NOT_ALLOWED; } //丢弃请求包体,对请求包体并不关心 rc = ngx_http_discard_request_body(r); if (rc != NGX_OK) { return rc; } if (ngx_http_set_content_type(r) != NGX_OK) { return NGX_HTTP_INTERNAL_SERVER_ERROR; } //创建upstream数据结构 if (ngx_http_upstream_create(r) != NGX_OK) { return NGX_HTTP_INTERNAL_SERVER_ERROR; } u = r->upstream; ngx_str_set(&u->schema, "memcached://"); u->output.tag = (ngx_buf_tag_t) &ngx_http_memcached_module; mlcf = ngx_http_get_module_loc_conf(r, ngx_http_memcached_module); u->conf = &mlcf->upstream; //下面是设置upstream使用到的各个回调函数 //该回调函数创建了相关的get请求,该get请求将发往上游服务器 u->create_request = ngx_http_memcached_create_request; u->reinit_request = ngx_http_memcached_reinit_request; //处理memcache服务器回传的回应报文头,计算其头部,计算回应报文 //数据长度 u->process_header = ngx_http_memcached_process_header; u->abort_request = ngx_http_memcached_abort_request; u->finalize_request = ngx_http_memcached_finalize_request; ctx = ngx_palloc(r->pool, sizeof(ngx_http_memcached_ctx_t)); if (ctx == NULL) { return NGX_HTTP_INTERNAL_SERVER_ERROR; } //ctx->rest的初始化在这里,该rest使用的场景是在一次接收中, //已经接收到了\r\nEND\r\n的一部分,但未接收完全,用来记录 //剩下尚未接收的部分 ctx->rest = NGX_HTTP_MEMCACHED_END; ctx->request = r; ngx_http_set_ctx(r, ctx, ngx_http_memcached_module); u->input_filter_init = ngx_http_memcached_filter_init; //该函数用来处理响应包体,把包体buf挂入request的out链表上 u->input_filter = ngx_http_memcached_filter; u->input_filter_ctx = ctx; r->main->count++; //发起对上游memcached服务器的连接 ngx_http_upstream_init(r); return NGX_DONE; }
在上面这段代码中,我们主要关注在upstream中设置的create_request ,process_header ,input_filter 这几个字段所设定的函数:
ngx_http_memcached_create_request:用于构建发往memcached服务器的请求报文。
ngx_http_memcached_process_header:处理memcached服务器返回来的相应头部,计算响应体的长度,判断请求访问的状态(是否成功)。
ngx_http_memcached_filter:将upstream收到的各个响应包挂入reuqest的out_buf中,同时在这里会判断包体的接收是否结束。
下面会对这三个函数做详细解析,在此之前先对memcached服务器交互报文做个简单了解:
1ngx_http_memcached_create_request: 该函数主要是构建发往memcached服务器的报文,报文格式: GET URI \r\n static ngx_int_t ngx_http_memcached_create_request(ngx_http_request_t *r) { size_t len; uintptr_t escape; ngx_buf_t *b; ngx_chain_t *cl; ngx_http_memcached_ctx_t *ctx; ngx_http_variable_value_t *vv; ngx_http_memcached_loc_conf_t *mlcf; mlcf = ngx_http_get_module_loc_conf(r, ngx_http_memcached_module); vv = ngx_http_get_indexed_variable(r, mlcf->index); if (vv == NULL || vv->not_found || vv->len == 0) { return NGX_ERROR; } escape = 2 * ngx_escape_uri(NULL, vv->data, vv->len, NGX_ESCAPE_MEMCACHED); //计算发给memcached服务器的请求的报文长度 len = sizeof("get ") - 1 + vv->len + escape + sizeof(CRLF) - 1; //分配相关buf,chain,用来将数据报文写入到里面 b = ngx_create_temp_buf(r->pool, len); if (b == NULL) { return NGX_ERROR; } cl = ngx_alloc_chain_link(r->pool); if (cl == NULL) { return NGX_ERROR; } cl->buf = b; cl->next = NULL; r->upstream->request_bufs = cl; //写入get 关键字 *b->last++ = 'g'; *b->last++ = 'e'; *b->last++ = 't'; *b->last++ = ' '; ctx = ngx_http_get_module_ctx(r, ngx_http_memcached_module); ctx->key.data = http://www.mamicode.com/b->last;> 在memcached命中的情况下,上面三个函数基本就可以搞定一切了,但,但,但是当服务器返回了END\x0d字符串时,表明memcached服务器中并没有该内容,看相关代码,nginx打算返回404错误了。这时候一般会使用error_page将其进行重定向,定向到真正的服务器的真正资源上面。这些工作是在ngx_http_upstream_finalize_request函数中去做的,该函数比较复杂,处理的情况很多。以404重定向为例,其函数调用顺序是:
ngx_http_upstream_finalize_request--->ngx_http_finalize_request----->ngx_http_sepecial_response_handler--->ngx_http_send_error_page---->ngx_http_internal_redirect--->ngx_http_handler
在函数ngx_http_handler中:
cmcf = ngx_http_get_module_main_conf(r, ngx_http_core_module);
r->phase_handler = cmcf->phase_engine.server_rewrite_index;
会将该请求跳转到11个阶段中的url重定向阶段,继续执行。nginx memcached模块解析
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。