数据库并行中间件查询执行控制研究与开发

摘要

随着各大企业数据集中及网络技术的不断发展,信息量越来越庞大,而从数据库管理系统本身的应用来讲,随着数量达到TB甚至PB级,即使运行在性能极高的大型主机上,在处理大量并发用户和大规模数据时,也很难满足I/O和CPU方面的性能要求.在这种情况下,数据库管理系统采用并行技术就成为一种强烈的需要.工大首创公司借国外知名并行数据库厂商尚未打开市场的机会,果断研发自己的支持数据库并行的中间件系统.其特点是,能够以较小的代价实现对数据库的并行操作,结构灵活,部署简单.而本课题所研究的内容就是支持数据库并行中间件系统的查询执行控制部分.本文的研究内容涉及中间件系统的层次结构研究,接口通信技术和执行模块的分析与设计;查询优化技术研究;静态及动态负载均衡技术以及相关的主副本策略的研究.重点放在对系统中负载均衡技术的研究上.负载均衡策略提供简单有效且科学合理的负载均衡算法,可以在各服务器之间进行负载分配,充分合理利用服务器机群中的每一台服务器,保证了整个并行数据库中间件系统在长时间的运行中不会发生大的任务倾斜,确保系统正常运行的高可用性和高可靠性,提高了系统的整体效率.该系统的开发既满足了企业对高速,有效的信息处理技术的需要,又能保证在企业原有计算机系统的基础上实现该先进技术;既节约了资源,又提高了性能,逐步会受到越来越多企业的青睐.

目录

文摘

英文文摘

第1章绪论

1.1课题背景

1.1.1中间件系统的产生及意义

1.1.2国内外在该方向的研究现状及分析

1.2本课题的研究意义

1.3主要研究内容

1.4论文的组织

第2章数据库并行中间件的查询执行控制

2.1系统运行的环境分析与选择

2.1.1 SM并行结构简介

2.1.2 SD并行结构简介

2.1.3 SN并行结构

2.1.4三种结构的比较与选择

2.2数据库并行中间件系统总体结构

2.2.1系统的层次结构

2.2.2各层之间的接口通信

2.2.3中间件功能结构

2.3传统的数据库查询执行控制

2.3.1数据库查询执行控制

2.3.2数据库查询优化技术

2.4中间件系统的查询执行控制

2.4.1查询执行控制流程

2.4.2基于语义缓存的查询分析

2.4.3查询结果返回的处理

2.5本章小结

第3章系统负载均衡的研究与算法实现

3.1负载均衡技术介绍

3.1.1负载均衡的作用及用途

3.1.2静态负载均衡算法

3.1.3动态负载均衡算法

3.2静态负载均衡策略

3.3主副本策略

3.3.1副本的管理

3.3.2副本的动态维护

3.4动态负载均衡策略

3.4.1动态反馈机制

3.4.2服务节点处理能力计算

3.4.3服务节点负载增量

3.4.4服务节点负载量计算

3.4.5负载均衡算法

3.5本章小结

第4章负载均衡策略在中间件系统中的实现与测试

4.1问题分析与理论数据测定

4.2工程实现

4.3测试与分析

4.4本章小结

结论

参考文献

哈尔滨工业大学硕士学位论文原创性声明

哈尔滨工业大学硕士学位论文使用授权书

致谢

个人简历