首页 > 代码库 > 应用不定时出现(每次一两分钟)大量错误排查
应用不定时出现(每次一两分钟)大量错误排查
1、先查nginx日志
日志表明在出现错误的时候,200请求下降,502&504增加,504居多。
5分钟段,总请求数并无太大波动。可以表明,非攻击所为。
2、查后端java服务
查看日志,在故障时,有一个警告会随着增加:
WARN com.alibaba.dubbo.rpc.cluster.support.FailoverClusterInvoker - [DUBBO] Although retry the method
日志可以看出在连接一个dubbo服务的时候超时,接着转去连接另外一个dubbo,但是需要超时10秒。
继续看日志,发现有显示连接不足。
通过对比 nginx,主站业务模块,dubbo,redis,mysql的系统资源变化。(redis曾因为固化数据导致响应缓慢,故添加一个从库,从库负责固化,主库负责接受请求)
大致可以分析到,在问题出现时,dubbo,redis,mysql的使用率在飙高之前有一个很小的降低。猜测可能是任务卡住。
目前增加了dubbo的连接数,继续观察。
应用不定时出现(每次一两分钟)大量错误排查
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。