首页 > 代码库 > TokuDB调研文档

TokuDB调研文档

2024-07-11 13:42:33   222人阅读


另见链接：http://note.youdao.com/share/?id=77dd1e9cc139b57586665f702467c56a&type=note
 
安装
安装主要包括两种方法：1）rpm安装  2）源码编译
 
1. rpm安装
此方式是比较简单的方式，按照Percona安装说明文档指示的方法操作即可。
首先安装Percona yum repository  ： 
sudo rpm -i percona-release-0.0-1.x86_64.rpm
接下来安装Percona-Server-tokudb-56.x86_64
sudo yum install Percona-Server-tokudb-56.x86_64
在这一步安装过程中，安装程序会向屏幕输出很多信息，可根据具体信息查找问题或直接success。tokudb和mysqld存在冲突，强烈建议使用rpm包安装时机器上不存在mysqld，否则会报错。
 
安装好后，就可以启动mysqld_safe，然后可以正常访问mysqld。
 
2.  源码编译
Percona的tokudb是以一个单独的包进行发布的，因此源码编译需要分别安装Percona 5.6.19和tokudb 
5.6.19我们已经在gitlab上放了一份代码（内部地址，略去）
tokudb下载当前最新版：http://www.percona.com/downloads/Percona-Server-5.6/Percona-Server-5.6.17-66.0/source/tarball/
选择其中的percona-server-5.6.17-66.0.tokudb.tar.gz，下载后解压缩，将其中的storage/tokudb放到Mysql相关目录。
 
编译时cmake需要指定DWITH_TOKUDB_STORAGE_ENGINE=1，然后执行make /make install。
 
编译tokudb需要gcc版本大于4.8，cmake版本大于2.8.9，请自行折腾。
 
 
使用TokuDB存储引擎
tokuDB默认是使用Module方式编译的，因此在使用前需要首先Install，具体方式如下：
INSTALL PLUGIN tokudb SONAME ‘ha_tokudb.so‘;INSTALL PLUGIN tokudb_file_map SONAME ‘ha_tokudb.so‘;INSTALL PLUGIN tokudb_fractal_tree_info SONAME ‘ha_tokudb.so‘;INSTALL PLUGIN tokudb_fractal_tree_block_map SONAME ‘ha_tokudb.so‘;INSTALL PLUGIN tokudb_trx SONAME ‘ha_tokudb.so‘;INSTALL PLUGIN tokudb_locks SONAME ‘ha_tokudb.so‘;INSTALL PLUGIN tokudb_lock_waits SONAME ‘ha_tokudb.so‘;
后续通过
show engines/show plugins/ select @@tokudb_version 就可以看到tokudb相关的内容。
 
 
建表
在install相关so之后，可以直接创建tokudb类型的表，Percona给出了一个例子，看起来和创建innodb的表没有什么区别。
mysql> CREATE TABLE `City` ( `ID` int(11) NOT NULL AUTO_INCREMENT, `Name` char(35) NOT NULL DEFAULT ‘‘, `CountryCode` char(3) NOT NULL DEFAULT ‘‘, `District` char(20) NOT NULL DEFAULT ‘‘, `Population` int(11) NOT NULL DEFAULT ‘0‘, PRIMARY KEY (`ID`), KEY `CountryCode` (`CountryCode`)) ENGINE=TokuDB
也可以将其他存储引擎的表修改成tokudb:
mysql> ALTER TABLE City ENGINE=TokuDB;
经确认可以在innodb和tokudb两个存储引擎之间相互转换。
 
 
同一事务内对不同存储引擎表进行操作
经测试，同一个事务内可以对innodb/tokudb分别进行操作，如下：
mysql> insert into City_tokudb(ID) values(1);
Query OK, 1 row affected (0.00 sec)
 
mysql> insert into City_innodb(ID) values(1);
Query OK, 1 row affected (0.00 sec)
 
mysql> begin;
Query OK, 0 rows affected (0.00 sec)
 
mysql> insert into City_innodb(ID) values(2);
Query OK, 1 row affected (0.00 sec)
 
mysql> insert into City_tokudb(ID) values(2);
Query OK, 1 row affected (0.00 sec)
 
mysql> commit;
Query OK, 0 rows affected (0.00 sec)
 
mysql> select * from City_innodb;
+----+------+-------------+----------+------------+
| ID | Name | CountryCode | District | Population |
+----+------+-------------+----------+------------+
| 1 | | | | 0 |
| 2 | | | | 0 |
+----+------+-------------+----------+------------+
2 rows in set (0.00 sec)
 
mysql> select * from City_tokudb;
+----+------+-------------+----------+------------+
| ID | Name | CountryCode | District | Population |
+----+------+-------------+----------+------------+
| 1 | | | | 0 |
| 2 | | | | 0 |
+----+------+-------------+----------+------------+
2 rows in set (0.00 sec)
 
复制相关
由于binlog和存储引擎是相互独立的，因此理论上复制不应受到TokuDB的影响。此处，以常规的主备搭建为基础，在主库上对TokuDB的表分别执行建表，增删改查操作，并在备库上确认复制数据无误。
常规的主备搭建流程参见：
http://dev.mysql.com/doc/refman/5.6/en/replication-howto-newservers.html
 
主库执行的操作：
mysql> CREATE TABLE `City_repl` ( `ID` int(11) NOT NULL AUTO_INCREMENT, `Name` char(35) NOT NULL DEFAULT ‘‘, `CountryCode` char(3) NOT NULL DEFAULT ‘‘, `District` char(20) NOT NULL DEFAULT ‘‘, `Population` int(11) NOT NULL DEFAULT ‘0‘, PRIMARY KEY (`ID`), KEY `CountryCode` (`CountryCode`) ) ENGINE=TokuDB;
Query OK, 0 rows affected (0.01 sec)
 
mysql> insert into City_repl(ID) values(1);
Query OK, 1 row affected (0.00 sec)
 
mysql> insert into City_repl(ID) values(2);
Query OK, 1 row affected (0.00 sec)
 
mysql> delete from City_repl where ID=1;
Query OK, 1 row affected (0.00 sec)
 
mysql> update City_repl set ID=3 where ID=2;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1 Changed: 1 Warnings: 0
相应的备库同步执行查询结果如下：
mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| City_repl |
+----------------+
1 row in set (0.00 sec)
 
mysql> select * from City_repl;
+----+------+-------------+----------+------------+
| ID | Name | CountryCode | District | Population |
+----+------+-------------+----------+------------+
| 1 | | | | 0 |
| 2 | | | | 0 |
+----+------+-------------+----------+------------+
2 rows in set (0.00 sec)
 
mysql> select * from City_repl;
+----+------+-------------+----------+------------+
| ID | Name | CountryCode | District | Population |
+----+------+-------------+----------+------------+
| 2 | | | | 0 |
+----+------+-------------+----------+------------+
1 row in set (0.00 sec)
 
mysql> select * from City_repl;
+----+------+-------------+----------+------------+
| ID | Name | CountryCode | District | Population |
+----+------+-------------+----------+------------+
| 3 | | | | 0 |
+----+------+-------------+----------+------------+
 
可见简单的针对TokuDB的增删改查操作，备份是可以正常工作的。
 
备份相关
Percona Xtrabackup当前并不支持TokuDB tables的备份，从Percona官方观点来看，其在近期内也并没有支持TokuDB的计划。
TokuDB企业版提供Hot Backup的方案，其实现原理参见：TokuDB Hot Backup – Part 1  TokuDB Hot Backup – Part 2， 当然这不会是我们考虑的方案。
Percona推荐使用LVM或是mysqldumper来备份TokuDB表，而网易在《程序员》上发表的一篇文章中提到其使用mysqldump对TokuDB进行备份。
 
参考链接
1）Percona版本安装说明文档：
http://www.percona.com/doc/percona-server/5.6/tokudb/tokudb_installation.html
2）Official TokuDB Documentation
http://www.tokutek.com/resources/product-docs/
3）TokuDB在网易生产环境中的应用实践
http://www.zeuux.com/group/mysql/bbs/content/55227/
4）TokuDB一些源码分析（from @淘宝一工）
http://www.douban.com/people/overred/notes
5）Percona Server 5.6.16-64.0 with TokuDB engine now available
http://www.mysqlperformanceblog.com/2014/03/03/percona-server-5-6-16-64-0-with-tokudb-engine-now-available/

 


联系
我们