首页 > 代码库 > 线上性能问题初步排查方法

线上性能问题初步排查方法

引言

有时候有很多问题只有在线上或者预发环境才能发现,而线上又不能Debug,所以线上问题定位就只能看日志,系统状态和Dump线程,本文只是简单的介绍一些常用的工具,帮助定位线上问题。

问题定位

1: 首先使用TOP命令查看每个进程的情况,显示如下:

我们的程序是Java应用,所以只需要关注COMMAND是Java的性能数据,COMMAND表示启动当前进程的命令,在Java进程这一行里可以看到CPU利用率是300%,不用担心,这个是当前机器所有核加在一起的CPU利用率。

 

2: 再使用Top的交互命令数字1查看每个CPU的性能数据。

命令行显示了CPU4,说明这是一个5核的虚拟机,平均每个CPU利用率在60%以上。如果这里显示CPU利用率100%,则很有可能程序里写了一个死循环。这些参数的含义,可以对比下表:

 

 

 

 

 

 

 

 

 

 

3: 使用Top的交互命令H查看每个线程的性能信息。

在这里可能会出现三种情况:

 

  1. 如果是第一种情况,也有可能是GC造成,我们可以用jstat命令看下GC情况,看看是不是因为持久代或年老代满了,产生Full GC,导致CPU利用率持续飙高,命令如下。

     

    我们还可以把线程Dump下来,看看究竟是哪个线程,执行什么代码造成的CPU利用率高。执行以下命令,把线程dump到文件dump17里。

     

    sudo -u admin /opt/java/bin/jstack  31177 > /home/tengfei.fangtf/dump17
    

    dump出来内容的类似下面这段:

    "http-0.0.0.0-7001-97" daemon prio=10 tid=0x000000004f6a8000 nid=0x555e in Object.wait() [0x0000000052423000]
       java.lang.Thread.State: WAITING (on object monitor)
            at java.lang.Object.wait(Native Method)
            - waiting on  (a org.apache.tomcat.util.net.AprEndpoint$Worker)
            at java.lang.Object.wait(Object.java:485)
            at org.apache.tomcat.util.net.AprEndpoint$Worker.await(AprEndpoint.java:1464)
            - locked  (a org.apache.tomcat.util.net.AprEndpoint$Worker)
            at org.apache.tomcat.util.net.AprEndpoint$Worker.run(AprEndpoint.java:1489)
            at java.lang.Thread.run(Thread.java:662)
    

    dump出来的线程ID(nid)是十六进制的,而我们用TOP命令看到的线程ID是10进制的,所以我们要printf命令转换一下进制。然后用16进制的ID去dump里找到对应的线程。

    优化实战

    1:查看下TCP连接状态,建立了800多个连接,需要尽量降低ESTABLISHED。

    2:用jstack dump看看这些线程都在做什么。

     

    3:统计下所有线程分别处于什么状态,发现大量线程处于WAITING(onobjectmonitor)状态

     

    4:查看处于WAITING(onobjectmonitor)的线程信息,主要是jboss的工作线程在await。

     

    "http-0.0.0.0-7001-97" daemon prio=10 tid=0x000000004f6a8000 nid=0x555e in Object.wait() [0x0000000052423000]
     java.lang.Thread.State: WAITING (on object monitor)
     at java.lang.Object.wait(Native Method)
     - waiting on <0x00000007969b2280> (a org.apache.tomcat.util.net.AprEndpoint$Worker)
     at java.lang.Object.wait(Object.java:485)
     at org.apache.tomcat.util.net.AprEndpoint$Worker.await(AprEndpoint.java:1464)
     - locked <0x00000007969b2280> (a org.apache.tomcat.util.net.AprEndpoint$Worker)
     at org.apache.tomcat.util.net.AprEndpoint$Worker.run(AprEndpoint.java:1489)
     at java.lang.Thread.run(Thread.java:662)

    5:找到jboss的线程配置信息,将maxThreads降低到100

    6:重启jboss,再dump线程信息,然后统计,WAITING(onobjectmonitor)的线程减少了170。

    其他命令
    • 查看CPU信息 cat /proc/cpuinfo
    • 查看内存信息 cat /proc/meminfo
    • 查看Java线程数 ps -eLf | grep java -c
    • 查看linux系统里打开文件描述符的最大值 ulimit -u
    • 找到日志里TOP10的异常:grep ‘Exception’ /home/admin/logs/XX.log |awk -F‘:|,’ ‘{print $2}’|sort |uniq -c |sort -nr|head -10,找到之后可以再用-A 2 -B 2,看定位出日志的前面2行和后面两行。

线上性能问题初步排查方法