一种数据库复制数据流框架设计和实现

摘要

在数据库管理(Database Management)领域，实时或者近实时的数据库数据复制(Real Time or Near Real Time Database Replication)始终是企业级数据管理领域的一个重要主题。大数据时代的来临对数据库管理领域的影响是深远和长久的。本论文的研究目标是设计一种高性能数据库复制数据流框架，基于该框架的数据库复制系统能够充分利用现有的软件、硬件的技术进步，从而提供高速的数据库数据复制服务。
　　本论文的主要工作和贡献如下：
　　1.设计和实现了一种基于并发执行的子任务流水线架构，以此实现高性能的数据库复制系统。从系统开发角度，子任务是完成数据复制的分解步骤的过程描述，与具体的运行线程隔离，从运维角度，用户可以通过调节同时执行的子任务的个数来调控数据库复制的性能和计算资源占用的关系。
　　2.研究分析了不同事务之间数据变更的相互依赖关系，将无依赖的变更并发复制到目标数据库中，充分利用了目标数据库自身的并发处理能力，从而提高了数据复制的性能。
　　3.设计了一种可以计算一段时间内所有事务净变更的计算方法，从而减少了需要写入目标数据库的变更操作个数，提高了特定场景下的数据复制的性能。
　　4.设计了一种简单的自动调节事务提交尺寸的算法，提高了数据库的事务吞吐量，并进行了单项性能测试。
　　5.研究了特定数据库编程接口对数据复制性能的影响，包括预编译SQL接口和BULK LOAD接口，并对其性能进行了对比实验验证。
　　6.通过记忆数据库对象的复制状态、机器结构的变更历史，实现了真正的数据库日志重播功能。
　　测试结果表明，本文提出的数据库复制数据流框架，能够提高数据库复制的吞吐性能，与基准系统的性能相比较，在不同的测试实验中均取得2倍至10倍的性能提升。

目录

封面

声明

答辩决议书

中文摘要

英文摘要

目录

1 绪 论

1.1 研究背景及意义

1.2 现有数据库复制产品简介

1.3 国内外研究概况

1.4 课题研究目标

1.5 主要研究内容

1.6 论文结构安排

2 数据库复制原理和技术

2.1 基于数据库恢复日志的数据库复制的基本原理

2.2 源数据库、日志捕获和复制和目标数据库的隔离

2.3 数据库复制的初始化原理

2.4 Fork-Join并发编程框架简介

2.5 本章小结

3 总体设计概述

3.1 系统软、硬件环境说明

3.2 目标应用场景

3.3 总体流程概述

3.4 日志抓取阶段

3.5 日志抓取进程与数据库复制系统的通讯命令协议设计

3.6 入站磁盘队列和入站内存队列

3.7 选择需要复制的表对象

3.8 事务排序

3.9 事务复制、提交阶段

3.10 日志抓取点和避免事务的重复提交

3.11 本章小结

4 关键技术的设计和实现

4.1 版本化管理数据库对象复制状态以及结构信息

4.2 连续事务的并发式提交的设计和实现

4.3 合并提交事务

4.4 采用预编译SQL提交增删改操作

4.5 采用BULK LOAD接口执行连续的数据插入

4.6 关联事务的净数据变更(Net Data Change)的计算

4.7 本章小结

5 数据复制性能对比测试设计

5.1 数据复制性能测试基本原理

5.2 性能测试实验设计

5.3 性能测试结果

5.4 实验结果分析

6 总结

6.1 论文的主要贡献

6.2 存在的不足

6.3 下一步工作的建议

参考文献

致谢

攻读学位期间发表的学术论文目录