数据库加速引擎加速方案研究

摘要

数据库管理系统位于企业信息系统的核心，负责执行企业的关键任务以及支持上百万用户的并发访问。但是常规商用的数据库管理系统在联机事务处理（On_Line Transaction Processing，OLTP）方面的执行效率并不高，制约了企业信息系统性能和效率的提升。针对这种应用需求，各个企业和研究机构纷纷提出了自己的数据库加速解决方案。如Cache加速技术、内存加速技术、并行加速技术等。但是，对于OLTP应用，并行数据库技术是提高应用性能更有效的途径。数据库加速引擎就是利用数据库集群技术实现的一种数据库加速中间件。 加速引擎加速方案设计的主要思想是：将数据分布到各底层数据库节点上，原来由单个数据库系统承担的任务现在由加速引擎连接的若干个节点数据库共同协作完成，具体通过数据划分技术和全局事务管理技术实现。所以设计一种合适的数据划分方案和全局事务管理方案对于提高系统的加速效果有重要的意义。 在数据划分方面，数据库加速的有效性要求事务尽可能平均分配到节点上执行。数据要尽量均衡分布，要避免由于数据倾斜和应用模式造成的某些节点负载过高而成为“热点”，必须设计好数据划分算法，较好地均衡节点间的负载。加速引擎使用一种两阶段划分算法，对数据实施划分，平衡数据“热点”，并在全局数据字典中记录划分情况，实现数据的透明分布。 全局事务管理器是加速引擎的核心，主要是保证全局事务的原子性和全局事务调度的正确性。加速引擎通过在节点上设立局部代理的方式，解决了由于各节点数据库系统可能采用各种不同的提交协议而无法保证全局事务的原子性问题。在保证全局事务调度的正确性方面，我们对传统的两级可串行化（two level serializability，2LSR）标准进行了改进，设计了一种新的事务提交图算法，从而提高了加速引擎系统的并发度。 实验结果表明，加速引擎作为一种通用数据库集群系统，有效地增强了原有数据库系统如DM4、MySQL的并行性和可扩展性，一定程度上缓解了常规商用数据库管理系统的OLTP执行效率不高的问题。