首页 > 代码库 > 数据库表设计--备份记录的表设计优化
数据库表设计--备份记录的表设计优化
##================================================================##
需求场景:
由于MySQL没有类似于SQL SERVER那样的系统表来存放备份记录,且大规模的MySQL服务器需要集中管理和查看。
服务器出现性能问题或复制延迟时,需要先判断是否由数据备份引起。
##================================================================##
第一版
按照需求,考虑到需要记录的备份信息有备份服务器信息、备份开始结束时间、备份是否成功等消息,于是设计出第一版表:
create table full_backup_log( id bigint auto_increment primary key, ## 自增主键,业务无关 host_ip varchar(50), ## 备份机IP host_port int, ## 备份机端口 backup_type varchar(50), ## 备份类型,mysqldump和xtrabackup start_time datetime, ## 备份开始时间 end_time datetime, ## 备份结束时间 is_success int, ## 备份是否成功 backup_message varchar(5000), ## 备份消息 check_time datetime ##写入或更新记录的时间);
##================================================================##
第二版
将backup_message弄得比较大, 主要是先把备份过程中的一些信息写进去,但仔细想想,该表不能很好地记录备份过程中的每一步,将所有信息放入到backup_message列中不利于查看,于是新增一个详细信息表:
create table full_backup_log_detail( id bigint auto_increment primary key, ## 自增主键,业务无关 full_backup_log_id bigint, ##关联full_backup_log表主键 host_ip varchar(50), ## 备份机IP host_port int, ## 备份机端口 backup_type varchar(50), ## 备份类型,mysqldump和xtrabackup backup_message varchar(5000), ## 备份消息 check_time datetime ##写入或更新记录的时间);
虽然full_backup_log表中存放有备份机和备份类型数据,可以通过full_backup_log_id关联来获取到,但是考虑full_backup_log_detail表数据数据日志性数据,写入后不会发生变化,因此通过冗余来减少关联,仅查询full_backup_log_detail即可看某台服务器的备份详情。
##================================================================##
第三版
通常DBA关心每个数据库最后一次备份成功时间,而表full_backup_log中存有is_success字段用来标识备份成功,可以通过以下SQL来获取:
select t1.* from full_backup_log as t1inner join (select host_ip,host_port,max(id) as max_id from full_backup_logwhere is_success=1group by host_ip,host_port) as t2 on t1.id=t2.max_id
如果full_backup_log表数据量较大时,比如存放几千个实例的几年数据,表中数据几百万上千万时,上面查询即使有合适索引也不能高效执行。
由于DBA并不关心早前数据,可以通过数据结转来实现,但如果偶尔查询早前数据则需要当前表和历史表进行UNION,程序实现上还得判断数据是否结转,于是新增一表来存放最后一次成功备份记录:
## full_backup_info用来存放备份机最后一次成功备份的记录create table full_backup_info( id bigint auto_increment primary key, ## 自增主键,业务无关 host_ip varchar(50), ## 备份机IP host_port int, ## 备份机端口 backup_type varchar(50), ## 备份类型,mysqldump和xtrabackup start_time datetime, ## 备份开始时间 end_time datetime, ## 备份结束时间 backup_message varchar(5000), ## 备份消息 check_time datetime ##写入或更新记录的时间);
同样数据容易来减少表关联,虽然最后一次成功的备份记录肯定和full_backup_log表中的备份记录对应,但是因为保存数据已经全部冗余,就无需在表full_backup_info中增加字段与表full_backup_log进行关联
##================================================================##
第四版
当备份进程过度使用CPU和IO资源导致性能问题并报警后,DBA需要第一时间判断报警服务器是否处于备份过程中,需要查看那些服务器正在进行备份:
方法1:通过full_backup_log表的start_time和end_time来获取当前正在备份的服务器,需要对end_time来建索引,如果end_time默认为NULL,则WHERE end_time is null or end_time >now, 性能很容易因OR而受影响,可以考虑给end_time设置一个默认值如2199-01-01啥的,将查询改为 where end_time >now
方法2:将full_backup_log表中is_success列扩展来标识备份状态,如果1表示成功0表示失败-1表示正在备份,查询条件为where is_success=-1,需要为is_success列建索引,但是is_success列选择性太低,而MySQL又不支持过滤索引,容易生成不高效的执行计划。
解决办法:
新建一个表,专门存放正在备份的服务器记录,这样只需要查询该表便可以获取到所有正在备份的服务器列表,备份成功后立即删除该表记录。
## full_backup_in_process用来存放正在备份的服务器信息create table full_backup_in_process( id bigint auto_increment primary key, ## 自增主键,业务无关 host_ip varchar(50), ## 备份机IP host_port int, ## 备份机端口 backup_type varchar(50), ## 备份类型,mysqldump和xtrabackup start_time datetime, ## 备份开始时间 check_time datetime ##写入或更新记录的时间);
##================================================================##
总结:
部分研发同事在进行设计时,随着需求变化不停地修改表,通过在原表上新增字段来解决新需求,导致表字段过多,同一表处理不同需求,或通过复杂的SQL来实现,逼着DBA去优化SQL或创建一堆的低效索引,且美名其曰“业务需求”。但很多需求其实可以曲线处理,往往优化业务需求和优化实现方式才能最终解决性能问题。
曾经有研发同事让帮其优化SQL,发现其业务需求是对几千万数据进行排序分页然后取TOP,几十秒都无法返回结果,建议其去除排序,被告知部分数据需要优先处理,而这部分需要优先处理的数据极少极少,最终解决办法是将优先处理的数据分拆出来让单独的程序进行处理,其他普通数据不排序查询正常处理,完美解决。
##================================================================##
数据库表设计--备份记录的表设计优化