首页 > 代码库 > Bcache
Bcache
bcache是按照SSD特性来设计的,只按擦除桶大小进行分配,使用btree和日志混合方法来跟踪缓存数据,缓存数据可以是桶上的任意一个扇区。bcache最大程度上减少了随机写的代价,它按顺序填充一个桶,重新使用时只需将桶设置为无效。
bcache支持写直达和回写策略。回写默认情况下是关闭的,可以在运行时改变。bcache还在最大程度上保护你的数据,在系统异常关机时数据仍然是可靠的。因为它被设计为只有在数据完全写回存储设备才确认写成功。
回写策略能够缓存绝大多数的写请求,然后再按照索引将脏数据按次序写回到后端存储设备。
SSD的特点就是随机IO速度很快,而对于大块顺序IO的提升却并不大。bcache会检测顺序IO并忽略;还会对每一个任务记录动态的平均IO大小,当平均IO大小超过截止值时该任务后面的IO将会被忽略,这样就可以透传备份或者大文件拷贝。
在flash上发现数据IO错误时,首先会尝试读以恢复数据或者将该缓存项置为无效。对于不可恢复的错误,例如元数据或脏数据,bcache将会自动关闭缓存。如果有脏数据在缓存中,这时会首先关闭回写策略然后再等待脏数据刷回。
linux内核需3.10以上,首先需要安装bcache-tools,它提供了make-bcache工具。下载地址:
git clone http://evilpiepirate.org/git/bcache-tools.git
git clone https://github.com/g2p/bcache-tools.git
ubuntu可以用apt-get安装:
sudo add-apt-repository ppa:g2p/storage
sudo apt-get update
sudo apt-get install bcache-tools
缓存设备和后端磁盘在使用前都需要先初始化:
make-bcache -B /dev/sdb make-bcache -C /dev/sdc
make-bcache提供了同时初始化多个设备的功能,并自动绑定缓存设备和后端磁盘:
make-bcache -B /dev/sda /dev/sdb -C /dev/sdc
bcache-tools现在已经包含了udev规则文件,bcache设备可以立即被内核感知。如果没有udev规则,需要手动注册设备:
echo /dev/sdc > /sys/fs/bcache/register
注册了后端磁盘后,bcache设备会出现在/dev/目录下,现在就可以格式化然后使用了。bcache设备默认是透传模式,因此需要绑定缓存。
bcache显示如下:
/dev/bcache<N>
还有(有udev规则文件时):
/dev/bcache/by-uuid/<uuid> /dev/bcache/by-label/<label>
如果要开始使用:
mkfs.ext4 /dev/bcache0 mount /dev/bcache0 /mnt
bcache的sysfs控制项在/sys/block/bcache<N>/bcache。
bcache设备是按集合来管理的,但目前一个集合只支持一个bcache设备,将来会支持多个设备、元数据和脏数据镜像。新cache设备显示为/sys/fs/bcache/<UUID>
cache绑定:
在缓存设备和后端设备都注册之后,还要将缓存设备绑定到后端设备从而使用缓存。绑定操作如下:
echo <CSET-UUID> > /sys/block/bcache0/bcache/attach
这个操作只需要做一次就可以了。下一次系统重启时,只需要重新注册所有bcache设备。如果后端设备还有未定回的缓存数据,那么就不会创建/dev/bcache<N>,直到缓存设备回来,尤其在写回策略时特别重要。
如果需要在没有缓存设备的时候强制使用设备:
echo 1 > /sys/block/sdb/bcache/running
注意这里参数是后端设备,而不是bcache设备,何况此时bcache设备还没有创建。如果是使用分区创建的bcache设备,例如sdb2对应的目录是/sys/block/sdb/sdb2/bcache。
在强制使用bcache设备后,缓存设备添加到系统,这个缓存设备的所有缓存数据将会设置为无效。缓存设备的脏数据是不会继续,因为这些脏数据将有可能使现在文件系统崩溃。
错误处理
bcache尝试处理IO错误而不影响正常操作,但如果错误数超过阀值(默认是0,可配置)会关闭缓存并切换到透传模式。
-如果是读错误则尝试直接从后端设备读
-如果是写直达写错误,将缓存对应数据块设置为无效
-去绑定时,刷回脏数据。脏数据写回失败目前是没有处理的。
性能相关问题
bcache有很多配置选项和可调参数。默认值适合于典型配置,如果想要更好性能则需要调整相关参数。
-写性能差
如果写性能不理想,那么建议调到写回策略
#echo writeback > /sys/block/bcache0/cache_mode
-性能差,或者流量并没有缓存到SSD
默认情况下,bcache不会缓存顺序IO和大文件。
打开顺序IO缓存:
#echo 0 > /sys/block/bcache0/bcache/sequential_cutoff
设置回默认值:
#echo 4M > /sys/block/bcache0/bcache/sequential_cutoff
-流量小,缓存不命中
现实生活中,并不是所有SSD都能提供足够快的速度作为磁盘的缓存,特别一个SSD作为多块磁盘的缓存,或者顺序IO时。所以需要避免SSD成为系统瓶颈。
为了避免bcache设备因为SSD变慢,当延迟超过阀值时逐渐减少流量。需要关闭拥塞控制项:
#echo 0 > /sys/fs/bcache/<cache set>/congested_read_threshold_us #echo 0 > /sys/fs/bcache/<cache set>/congested_write_threshold_us
对于读,默认值是2000us(2ms),对于写是20000.
SYSFS - 后端设备
/sys/block/<bdev>/bcache, /sys/block/bcache*/bcache, /sys/fs/bcache/<cset-uuid>/bdev*
SYSFS - 缓存集合
/sys/fs/bcache/<cset-uuid>
SYSFS - 缓存设备
/sys/block/<cdev>/bcache
删除cache设备
#echo 1 > /sys/fs/bcache/<uuid>/unregister
删除backing设备
#echo 1 > /sys/block/bcache<N>/bcache/stop
新建文件
Bcache