一、    常用命令

pstree查看进程树。可以很清楚的看到进程之间的关系；

Top：查看各进程的占用资源的情况；

du -h --max-depth=1 显示当前目录中所有子目录的大小；

w 查看服务器的load情况

bigip 在预发布机器上使用命令“bigip sh ${ip/机器名} {username}” 可以检查机器是在F5上状态是disable还是enable.

gm.sh "curl http://localhost/monitor/ok.html"     在预发布机器上检查各个服务器的健康检查页面。

gm.sh "ps amx | grep httpd | wc -l"   在预发布机器上检查各个服务器的http链接数

二、    proc下的伪文件。 如：meminfo 检查内存信息，cpuinfo 内核信息。

cat /proc/cpuinfo 检查cpu的信息。我们的一些程序根据cpu内核的数量做过优化（如：memcached，假的多核可能会引起一些bug。）

如上图 baike-web1 是4核的，baike-web2是双核超线程的。

拥有相同 physical id 的所有逻辑处理器共享同一个物理插座。每个 physical id 代表一个唯一的物理封装。Siblings 表示位于这一物理封装上的逻辑处理器的数量，如果不存在表示1。每个 core id 均代表一个唯一的处理器内核。所有带有相core id 的逻辑处理器均位于同一个处理器内核上。如果有一个以上逻辑处理器拥有相同的 core id 和 physical id，则说明系统支持超线程（HT）技术。如果有两个或两个以上的逻辑处理器拥有相同的 physical id，但是 core id不同，则说明这是一个多内核处理器。

三、    网络连接

netstat： -t: 显示TCP链接信息;-u: 显示UDP链接信息;-n直接显示ip，不做名称转换;-p: 显示相应的进程PID以及名称（要root权限）

如果要查看关于sockets更详细占用信息等，可以使用lsof.

a)   netstat -anp|grep java|grep 3306|wc –l检查Java进程中数据库的链接数量

b)   netstat -na|grep ESTABLISHED|awk ‘{print $4}‘|grep ":80$"|wc –l  检查已经建立的80端口的连接数

c)         netstat -na |grep “:2088”  检查搜索引擎的连接数

四、    dump java进程堆栈

a)   kill -3 ${java进程Id}，可以在java进程的日志中看到输出(jboss 记录在jboss_stdout.log中)

b)   jstack $pid.      直接dump当前进程的的堆栈信息。

对于thread dump信息，主要关注的是线程的状态和其执行堆栈，特别是load很高的时候，通过thread dump可以看到线程到底在干嘛，从中找出问题。 线程的状态一般为三类: runable：当前可以运行的线程, Waiting on monitor：线程主动wait, Waiting for monitor entry：线程等锁. Cpu很忙则关注runnable的线程，Cpu闲则关注waiting for monitor entry的线程。

五、    java内存溢出

1、 可以先用 jstat  -gcutil ${pid} {interval}  看看java内存回收的动态信息。 interval– 表示间隔打印的时间，单位为毫秒

图中参数含义如下：

S0  — Heap上的 Survivor space 0区已使用空间的百分比

S1  — Heap上的 Survivor space 1 区已使用空间的百分比

E   — Heap上的 Eden space 区已使用空间的百分比

O   — Heap上的 Old space 区已使用空间的百分比

P   — Perm space 区已使用空间的百分比

YGC — 从应用程序启动到采样时发生 Young GC 的次数

YGCT– 从应用程序启动到采样时 Young GC 所用的时间(单位秒)

FGC — 从应用程序启动到采样时发生 Full GC 的次数

FGCT– 从应用程序启动到采样时 Full GC 所用的时间(单位秒)

2. 使用jmap 来dump  java内存中全部对象，分析死锁的位置。

jmap -histo $pid  快速查看当前内存中各个Java对象的大小和数量

jmap -dump:live,format=b,file=heap.dmp $pid   可以将jvm堆栈中的信息全部复制到文件head.dmp中，注意这个heap.dmp文件会比较大， 线上jboss分配的内存一般为2g,当内存溢出时dump出来的head.dmp文件也是2g,所以dump的时间也比较长，一般会有半个小时.

日志文件生成后运行命令“jhat -J-mx768m -port 7001 heap.dmp”分析堆栈日志（注意不要在线上服务器上分析）。 访问 http://localhost:7001可以查看分析报告。

或者可以使用eclipse 的mat插件分析,它可以以图形形式分析出内存中的java对象的分布： (插件地址http://download.eclipse.org/mat/1.0/update-site/).导入后可以生成一个图形报表

六、    7001端口报警。

一般情况是jboss挂掉了。因为java进程已经退出。1首先需要查看：jboss_stdout.log,它会告诉你jboss crash的一些信息，它还会告诉你在jboss  crash有一个详细的出错报告， 位置在/web-deploy/bin/hs_err_pid.log

七、    cookie日志分析

cat cookie_log|awk ‘{print $1} ‘|grep -v "172.16"|grep -v "127.0.0.1"|sort|uniq -c|sort -n |tail -n 10  提取访问量前10位的ip.

cat cookie_log |grep ‘09/Dec/2010:18:01‘|wc –l 检查18:01这一分钟的访问总量。

cat cookie_log|grep ‘HTTP/.../" [4|5]‘|more  查看响应出错的请求。

cat cookie_log |grep -E ‘Googlebot|Baiduspider‘|wc –l统计google和baike爬虫的访问量。

维护服务器常用命令