关于 Out of Socket memory 的解释

Posted on May 9, 2012

一台 Nginx server，到晚上高峰 messages 出现大量的如下信息：
Apr 23 22:43:21 rs1 kernel: [...] Out of socket memory

两种情况会出发 "Out of socket memory" 的信息：
1.有很多的孤儿套接字(orphan sockets)
2.tcp socket 用尽了给他分配的内存

首先看看情况 2。对于 TCP socket 来说，使用 pages 来计数的，而非 bytes，一般情况下 1 page = 4096 bytes。page 大小可以通过下面命令获得：
$ getconf PAGESIZE
4096

查看内核分配了多少的内存给 TCP：
$ cat /proc/sys/net/ipv4/tcp_mem
69618   92825   139236
第一个数字表示，当 tcp 使用的 page 少于 69618 时，kernel 不对其进行任何的干预
第二个数字表示，当 tcp 使用了超过 92825 的 pages 时，kernel 会进入 “memory pressure” 
第三个数字表示，当 tcp 使用的 pages 超过 139236 时，我们就会看到题目中显示的信息

查看 tcp 实际用的内存：
$ cat /proc/net/sockstat
sockets: used 116
TCP: inuse 3 orphan 0 tw 4 alloc 4 mem 110
UDP: inuse 1 mem 1
UDPLITE: inuse 0
RAW: inuse 0
FRAG: inuse 0 memory 0
可以看到，实际使用的 mem(110) 远远小于 69618，所以，“Out of socket memory”的错误是由于第一种情况引起的。

关于 orphan socket 的解释，请看这里。orphan socket 对于应用程序来说，意义不大，这也是内核要限制被 orphan socket 消耗内存的原因。而对于 web server 来说，有大量的 orphan socket 也属正常，那么多的连接放在那儿了。
查看 orphan socket 限制：
$ cat /proc/sys/net/ipv4/tcp_max_orphans

对比当前系统中的：
$ cat /proc/net/sockstat
sockets: used 14565
TCP: inuse 35938 orphan 21564 tw 70529 alloc 35942 mem 1894

由于内核代码中有个位运算，所以实际的跟最大的是 2x 或者是 4x 的关系。现在根据实际情况，将 tcp_max_orphans 调到一个合理的值就可以了。原则上该值建议只增大，另外，每个 orphan 会消耗大概 64KB 的内存。

还有个叫 tcp_orphan_retries 参数，对于 web server，可以减小。

涉及到内核的东西，网上大部分都是病急乱投医。这个不分是中文的还是英文的，要找到一篇好的解释真不容易。

ref:
http://blog.tsunanet.net/2011/03/out-of-socket-memory.html

http://git.kernel.org/?p=linux/kernel/git/torvalds/linux-2.6.git;a=blob;f=Documentation/networking/ip-sysctl.txt;hb=v2.6.38-rc8#l271

关于 Out of Socket memory 的解释