首页 > 代码库 > 【转载】Linux cgroup资源隔离各个击破之 - io隔离

【转载】Linux cgroup资源隔离各个击破之 - io隔离

Linux Cgroup blkio子系统的用法.

 

blkio子系统支持的两种IO隔离策略

.1. (Completely Fair Queuing 完全公平队列)cfq io调度策略,支持按权重分配IO处理的时间片,从而达到IO在各资源组直接的调度和限制的目的,权重取值范围100-1000。
通过以下两个文件进行配置。

blkio.weight                默认值blkio.weight_device   块设备级的值 (major:minor weight) (优先级高于blkio.weight)

例子

echo 500 > blkio.weightecho 8:0 500 > blkio.weight_device

cfq 调度器以及其他IO调度器的介绍详见内核文档.
Documentation/block/

.2. 限制IOPS使用上限
例子如下

bytes/secho "8:0 10485760" > /cgroup/blkio/test/blkio.throttle.read_bps_deviceio/secho "8:0 10" > /cgroup/blkio/test/blkio.throttle.read_iops_devicebytes/secho "8:0 10485760" > /cgroup/blkio/test/blkio.throttle.write_bps_deviceio/secho "8:0 10" > /cgroup/blkio/test/blkio.throttle.write_iops_device



这两种资源限制手段各有特色,CFQ的方法比较公平,互相不会干扰,在确保最低使用IO比例的情况下,如果IO设备空闲,还能超限使用。 (一句话就是保证最低的 IOPS)
限制IOPS上限的方法,所有组加起来的IOPS可以超出块设备的最大IOPS指标,实现错峰使用的目的,但是坏处是如果超出最大指标太多,平时可能造成争抢导致SLA无法保证。 (一句话就是限制最高的 IOPS)



注意,当前BLKIO子系统不统计buffered write操作,仅仅统计direct i/o的操作。但是buffered read是统计在内的。

blkio子系统的统计报告

blkio.throttle.io_serviced  报告iops,含当前队列中的。major, minor, operation(read, write, sync, or async), and numbers.blkio.throttle.io_service_bytes  报告bps,含当前队列中的。major, minor, operation(read, write, sync, or async), and bytes.blkio.time  报告设备I/O使用时间major, minor, and time. (ms)blkio.sectors  报告读入或读出的扇区数量major, minor, and sectors.blkio.avg_queue_size  报告块设备的平均队列大小(内核CONFIG_DEBUG_BLK_CGROUP=y 必须设置此宏)blkio.group_wait_time  报告队列等待时间片的总等待时间(ns)  (内核CONFIG_DEBUG_BLK_CGROUP=y 必须设置此宏)blkio.empty_time  报告块设备空闲时间(没有pending 请求)(ns) (内核CONFIG_DEBUG_BLK_CGROUP=y 必须设置此宏)blkio.idle_time  报告块设备空闲时间(等待请求合并?)(ns) (内核CONFIG_DEBUG_BLK_CGROUP=y 必须设置此宏)blkio.dequeue  报告块设备请求出列次数major, minor, and number  (内核CONFIG_DEBUG_BLK_CGROUP=y 必须设置此宏)blkio.io_serviced  报告IOPS,major, minor, operation(read, write, sync, or async), and numbers. 不含当前队列中的。blkio.io_service_bytes  报告bps,major, minor, operation(read, write, sync, or async), and bytes. 不含当前队列中的。blkio.io_service_time   报告从发送IO请求到IO完成的时间。major, minor, operation(read, write, sync, or async), and time(ns).  blkio.io_wait_time      报告IO等待的时间,可能会超出总的时间线,因为同时可能有多个IO请求在等待。  major, minor, operation(read, write, sync, or async), and time(ns).  blkio.io_merged         报告IO合并的次数,operation(read, write, sync, or async), and numbers.blkio.io_queued         报告IO入列的次数,operation(read, write, sync, or async), and numbers.

blkio子系统的使用例子

.1. 通过权重的方法限制IO的使用比例。

挂载blkio子系统Mount the blkio subsystem:~]# mount -t cgroup -o blkio blkio /cgroup/blkio/创建两个资源组Create two cgroups for the blkio subsystem:~]# mkdir /cgroup/blkio/test1/~]# mkdir /cgroup/blkio/test2/设置每个组的IO权重Set blkio weights in the previously created cgroups:~]# echo 1000 > /cgroup/blkio/test1/blkio.weight~]# echo 500 > /cgroup/blkio/test2/blkio.weight创建两个一样大的文件~]# dd if=/dev/zero of=file_1 bs=1M count=4000~]# dd if=/dev/zero of=file_2 bs=1M count=4000把文件的page cache刷出去  ~]# sync~]# echo 3 > /proc/sys/vm/drop_caches启动两个读文件的进程,分别在两个资源组中。  ~]# cgexec -g blkio:test1 time dd if=file_1 of=/dev/null~]# cgexec -g blkio:test2 time dd if=file_2 of=/dev/null查看IOTOP,可以看到权重均匀。  # iotopTotal DISK READ: 83.16 M/s | Total DISK WRITE: 0.00 B/s    TIME  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN      IO    COMMAND15:18:04 15071 be/4 root       27.64 M/s    0.00 B/s  0.00 % 92.30 % dd if=file_2 of=/dev/null15:18:04 15069 be/4 root       55.52 M/s    0.00 B/s  0.00 % 88.48 % dd if=file_1 of=/dev/null



blkio子系统中需要用到块设备的major, minor号,可以通过以下方法查看

# ll /dev/|grep "^b"brw-rw----  1 root cdrom    11,   0 Jun 10 15:50 sr0brw-rw----  1 root disk    253,   0 Jun 10 15:50 vdabrw-rw----  1 root disk    253,   1 Jun 10 15:50 vda1

 

CFQ调度公平性

对于权重的方法,如果要对离散的I/O操作起到公平的调度,必须打开块设备的group_isolation设置。
Additionally, you can enable group isolation which provides stronger isolation between groups at the expense of throughput. 
When group isolation is disabled, fairness can be expected only for a sequential workload. 
By default, group isolation is enabled and fairness can be expected for random I/O workloads as well. 
To enable group isolation, use the following command:

echo 1 > /sys/block/<disk_device>/queue/iosched/group_isolation

 

 

 

【转载】Linux cgroup资源隔离各个击破之 - io隔离