当看到I/O等待时间所占CPU时间的比重很高的时候，首先要检查的就是机器是否正在大量使用交换空间，因为硬盘操作的速度远远低于RAM，所以当系统内存耗尽，开始使用交换空间的时候，系统的性能会受到严重影响。任何想要访问硬盘的操作都要完成与硬盘的I/O交换。所以，故障排除的第一步是看内存是否耗尽，如果是，先解决这个问题。如果还有大量可用的RAM，你需要明确那个进程占用了大部分I/O操作。

在你很难弄明白到底是哪个进程占用了大量I/O资源，使用iostat可以找到是哪个分区执行大量I/O操作。

iostat的使用

最上面显示的是1个cpu，64位系统，linux内核版本

avg-cpu段:
%user: 在用户级别运行所使用的CPU的百分比
%nice: nice操作所使用的CPU的百分比
%system: 在系统级别(kernel)运行所使用CPU的百分比
%iowait: CPU等待硬件I/O时,所占用CPU百分比
%idle: CPU空闲时间的百分比
Device段:

sda:设备名
tps: 每秒钟发送到的I/O请求数.
Blk_read /s: 每秒读取的数据量
Blk_wrtn/s: 每秒写入的数据量.
Blk_read:   读入的总的数据量
Blk_wrtn:  写入的总的数据量

iostat各个参数说明:


-c 仅显示CPU统计信息.与-d选项互斥.
 -d 仅显示磁盘统计信息.与-c选项互斥.
 -k 以K为单位显示每秒的磁盘请求数,默认单位块.
 -p device | ALL
  与-x选项互斥,用于显示块设备及系统分区的统计信息.也可以在-p后指定一个设备名,如:
  # iostat -p hda
  或显示所有设备
  # iostat -p ALL
 -t    在输出数据时,打印搜集数据的时间.
 -V    打印版本号和帮助信息.
 -x    输出扩展信息.

iostat后加一个数字

iostat 4 表示每隔4秒就刷新一次

iotop的使用

       --version 显示版本号然后退出
       -h, --help 显示帮助然后退出
       -o, --only 只显示正在产生I/O的进程或线程。除了传参，可以在运行过程中按o生效。
       -b, --batch 非交互模式，一般用来记录日志
       -n NUM, --iter=NUM 设置监测的次数，默认无限。在非交互模式下很有用
       -d SEC, --delay=SEC 设置每次监测的间隔，默认1秒，接受非整形数据例如1.1
       -p PID, --pid=PID 指定监测的进程/线程
       -u USER, --user=USER 指定监测某个用户产生的I/O
       -P, --processes 仅显示进程，默认iotop显示所有线程
       -a, --accumulated 显示累积的I/O，而不是带宽
       -k, --kilobytes 使用kB单位，而不是对人友好的单位。在非交互模式下，脚本编程有用。
       -t, --time 加上时间戳，非交互非模式。
       -q, --quiet 禁止头几行，非交互模式。有三种指定方式。
              -q     只在第一次监测时显示列名
              -qq    永远不显示列名。
              -qqq   永远不显示I/O汇总。