首页 > 代码库 > MySQL多线程备份工具mydumper
MySQL多线程备份工具mydumper
mydumper是一个针对MySQL和Drizzle的高性能多线程的备份和恢复工具。此工具的开发人员分别来自MySQL、Fackbook、SkySQL公司，目前已经有一些大型产品业务测试并使用了该工具。我们在恢复数据库时也可以使用myloader工具。
Mydumper的主要特性包括：
一、采用了轻量级C语言写的代码。
二、相比于mysqldump,其速度快了近10倍(有待测试)
三、具有事务性和非事务性表一致的快照（应用于0.2.2+）
四、可以快速进行文件压缩（File compression on-the-fly）
五、支持导出binlog
六、可以多线程恢复（适用于0.2.1+）
七、可以用守护进程的工作方式，定时扫描和输出连续的二进制日志
测试环境：6核、6G内存，备份数据里为1.5G左右。
安装mydumper,到官网下载mydumper包：https://launchpad.net/mydumper/
[root@localhost ~]# yum install glib2-devel mysql-devel zlib-devel pcre-devel cmake -y[root@localhost ~]# tar zxvf mydumper-0.6.2.tar.gz [root@localhost ~]# cd mydumper-0.6.2[root@localhost mydumper-0.6.2]# cmake . [root@localhost mydumper-0.6.2]# make && make install
mydumper中主要参数说明：（mydumper --help）
--host, -h: 连接的MySQL服务器。--user, -u: 用户备份的链接用户。--password, -p: 用户的密码。--port, -P: 连接端口。--socket, -S: 连接socket文件。--database, -B: 需要备份的数据库。--table-list, -T: 需要备份的表，用逗号（,）分隔。--outputdir, -o: 输入的目录。--built-empty-files, -e: 默认无数据则有表结构文件。--regex, -x: 支持正则表达式，如mydumper -regex ‘^(?!(mysql|test))‘。--ignore-engines, -i: 忽略的存储引擎。--no-schemas, -m: 不导出表结构。--long-query-guard: 长查询，默认60s。--kill-long-queries, -k： 可以设置kill长查询。--verbose, -v：0=silent, 1=errors, 2=warnings, 3=info 默认是2。--binlogs, -b: 导出binlog。--daemon, -D: 启用守护进程模式。--snapshot-interval, -I: dump快照间隔时间，默认60s。--logfile, -L: mysqldumper的日志输出，一般在Daemon模式下使用。
myloader的大多数参数和mydumper一样，如下：
-d, --directory 备份文件的文件夹-q, --queries-per-transaction 每次事物执行的查询数量，默认是1000-o, --overwrite-tables 如果要恢复的表存在，则先drop掉该表，使用该参数，需要备份时候要备份表结构-B, --database 需要还原的数据库-e, --enable-binlog 启用还原数据的二进制日志-h, --host 主机-u, --user 还原的用户-p, --pass<a href=http://www.mamicode.com/"http://www.it165.net/edu/ebg/" target="_blank" class="keylink">word</a> 密码-P, --port 端口-S, --socket socket文件-t, --threads 还原所使用的线程数，默认是4-C, --compress-protocol 压缩协议-V, --version 显示版本-v, --verbose 输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2
下面分别使用mydumper和mysqldump备份，看备份时间，如下：
[root@localhost tpcc-mysql]# time mydumper -u root -p 123456 -S /data/mysql-5.5.40/mysql.sock -B tpcctest -o /root/tpcctestreal 0m16.463suser 0m16.436ssys 0m2.205s[root@localhost tpcc-mysql]# time /usr/local/mysql-5.5.40/bin/mysqldump -uroot -p123456 -S /data/mysql-5.5.40/mysql.sock tpcctest > /root/tpcctest2.sql real 0m37.875suser 0m28.847ssys 0m3.701s[root@localhost tpcc-mysql]#
mydumper备份出来的是一个文件夹，mysqldump备份出来的是一个.sql文件，大小如下：
[root@localhost tpcctest]# cd ..[root@localhost ~]# du -sh tpcctest1.5G tpcctest[root@localhost ~]# du -sh tpcctest2.sql 1.5G tpcctest2.sql
mydumper是多线程的，默认4个线程，可以用-t选项可以指定线程数，下面分别对不同线程进行了测试的结果：
[root@localhost tpcc-mysql]# time mydumper -u root -p 123456 -S /data/mysql-5.5.40/mysql.sock -B tpcctest -o -t 6 /root/tpcctest real 0m16.014suser 0m16.671ssys 0m2.083s[root@localhost tpcc-mysql]# time mydumper -u root -p 123456 -S /data/mysql-5.5.40/mysql.sock -B tpcctest -o -t 10 /root/tpcctestreal 0m17.494suser 0m16.283ssys 0m2.771s[root@localhost tpcc-mysql]# time mydumper -u root -p 123456 -S /data/mysql-5.5.40/mysql.sock -B tpcctest -o -t 3 /root/tpcctest real 0m14.774suser 0m16.662ssys 0m2.814s[root@localhost tpcc-mysql]# time mydumper -u root -p 123456 -S /data/mysql-5.5.40/mysql.sock -B tpcctest -o -t 2 /root/tpcctestreal 0m16.382suser 0m16.603ssys 0m2.692s
可以看到，并不是线程数多，备份的速度就会快。
还原速度对比：
下面分别是myloader和mysql直接还原的速度对比：
[root@localhost ~]# time myloader -u root -p 123456 -h localhost -S /data/mysql-5.5.40/mysql.sock -B tpcctest -d /root/tpcctest real 4m55.778suser 0m3.733ssys 0m1.075s
[root@localhost ~]# time mysql -uroot -p123456 -S /data/mysql-5.5.40/mysql.sock tpcctest < /root/tpcctest2.sql real 7m35.524suser 0m34.156ssys 0m2.032s
用mydumper备份单个表的例子：
[root@localhost ~]# mydumper -u root -p 123456 -h localhost -S /data/mysql-5.5.40/mysql.sock -B tpcctest -T customer -o /root/customer[root@localhost ~]# cd customer/[root@localhost customer]# lsmetadata tpcctest.customer-schema.sql tpcctest.customer.sql
mydumper还有很多功能，有兴趣的朋友，可以自己研究下^.^
有一个朋友说他线上用mydumper备份176G的数据，大概用了21分钟，但他是用最大系统资源来备份的(服务器配置：raid 10 raid卡没有缓存 Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz 32核 32G内存)
总结：
一、mydumper的备份速度比mysqldump快上不少，因为mydumper支持多线程备份和恢复
二、虽然可以支持多线程备份，但并不是线程越多，速度就越快
三、mydumper的功能也比较强大，参数比较多，可以根据需求，灵活配置
四、mydumper备份和恢复的快慢，和服务器硬件配置有很大的关系，本实验测试只是举例子。
参考书籍：《MySQL管理之道：性能调优、高可用与监控》
MySQL多线程备份工具mydumper