首页 > 代码库 > ngx_lua学习笔记 -- capture + proxy 实现httpclient
ngx_lua学习笔记 -- capture + proxy 实现httpclient
题注
最近我在学习nginx的lua插件,发现结合nginx的异步io和lua的流程控制能力,还是有很丰富的想象空间的:几乎所有常见的http请求的处理逻辑都能搞定,诸如查查数据库,访问一下memcache,读写一下本地文件等,都不在话下。恰好我正在研究一个第三方http服务的调用api,就产生了将其移植到lua上的想法。
其中涉及到了构造https请求的需求。我先采用ngx.socket.tcp()自己构造了一个http格式的请求,测试结果为可用,然后考虑能不能找到封装好了的httpclient。放狗搜索了一番后,只找到了这个库:lua-resty-http (https://github.com/liseen/lua-resty-http)。无奈下载下来后发现其不支持https,遂fork并修改了一番(https://github.com/kyriosli/lua-resty-http),加上了https支持。
到此貌似整个移植过程就完了?NO,nginx本身就是玩http的,为啥我们还要自己构造http请求,解析请求结果,管理连接复用呢?想到这一层,我又把眼光转到了nginx自带的api上
原理
ngx_lua本身不提供httpclient功能,但提供了ngx.location.capture接口。这个接口可以发送一个子请求(subrequest),并获取子请求的响应结果。子请求可以调用lua,或者返回文件,甚至通过proxy_pass访问另一个地址。
关键就在这里!如果我们使用proxy_pass机制结合subrequest,不就能实现http接口请求了吗?
且慢!
一般来说,httpclient要求能够指定method,scheme,域名,端口,请求头,以及数据。但默认的subrequest将继承所有当前请求的信息。好在ngx.location.capture接口支持指定method和data。那么只要搞定scheme,域名,端口,请求头就可以了。
实现
使用过nginx的proxy_pass的同学都知道,proxy_pass支持从变量中获取值(如常见的proxy_pass $scheme://xxx$request_uri;)。而rewrite能够利用捕获组设置变量,所以,我们可以在nginx的配置文件中加入这么一条location规则:
location /proxy/ { internal; rewrite ^/proxy/(https?)/([^/]+)/(\d+)/(.*) /$4 break; proxy_pass $1://$2:$3;}
- 第一行,指定规则为internal规则,防止外部请求命中此规则
- 第二行,使用rewrite将地址中的scheme,host,port匹配出来;使用break终止匹配,不再检查其它location
- 第三行,使用proxy_pass将scheme,host,port拼装成服务器地址
这样,我们要请求如https://www.example.com:443/foo/bar时,只需要在lua代码中构造一个子请求,地址为/proxy/https/www.example.com/443/foo/bar即可。
接下来就是header问题,通过ngx.req.set_header可以在lua中添加需要的请求头。
由于header的继承性,我们需要考虑来自客户端的哪些header不能被传递到远端接口中:
- Host: 因为proxy_pass默认会重写host,所以无需处理(在常规的proxy_pass中,可能需要使用proxy_set_header命令修正Host头)
- Content-Type: 如果来自客户端的请求类型为POST,需要将该头去掉
- Content-Length: 同上
- Accept-Encoding: 绝大多数时候,浏览器接受gzip, deflate格式的压缩,如果远端接口启用了压缩,此头将导致返回的数据格式被压缩过,从而lua无法正确处理。因此需要去掉此头
- Cookie: 涉及到隐私问题,所以这个头也需要去掉
通过ngx.req.clear_header可以将需要去掉的头去掉。注意为了不影响后续处理,所有被去掉/改写的头应该被恢复,所有被添加的头应该被去掉。
下面是一个简单的示例代码:
-- POST https://www.example.com:443/foo/bar?hello=worldngx.req.set_header("Content-Type", "application/json;charset=utf8");ngx.req.set_header("Accept", "application/json");local res = ngx.location.capture(‘/proxy/https/www.example.com/443/foo/bar‘, { method = ngx.HTTP_POST, body = body, args = {hello = ‘world‘}});
ngx_lua学习笔记 -- capture + proxy 实现httpclient