首页 > 代码库 > 高并发下Netty4底层bug导致直接内存溢出分析

高并发下Netty4底层bug导致直接内存溢出分析

事故记录:

10点游戏开服,迅速冲破2300+单区同时在线

18点15分,运营反应玩家进不了,准备吃饭的人被抓回来排查故障

发现,由于直接内存被占满,一直在Full GC ,并且回收不掉,所以完全不处理玩家请求,通知运维重启服务器,临时解决。技术分享


2.考虑了下是不是把RPC连接数量改成了8条,超时改长了了导致,试着把数量减少,超时改成2个小时,发现直接内存随着时间推移还在增加。

3.把内存数据dump了一份下来,发现是netty底层占用比例大大超出了正常水平。


技术分享

技术分享

技术分享

  • 输出缓冲区ChannelOutboundBuffer
Recycler 占了很大比例,问了度娘,没什么有用的信息,找Google,用关键词" ChannelOutboundBuffer out of Direct memory full gc"

搜到一篇文章,发现和我遇到的情况基本一致 ,

Direct memory exhausted after sending many notifications

Recycler could cache infinite resources


 Netty.4.0.24.final版本有个bug,原因是因为缓冲区的数据如果超过了max_capacity的话,if(size==maxCapacity){....}永远不会成立,所以内存占用会无限扩增导致。
技术分享


更新netty 4.0.25 final版本,继续观察。


高并发下Netty4底层bug导致直接内存溢出分析