数据库集群中间件S-JDBC的设计与实现

摘要

随着计算机网络技术的发展和计算机技术的广泛应用，人们对计算机的依赖程度也越来越高，计算机的可靠性和可用性也变得越来越重要。尽管单台计算机的性能和可靠性越来越好，但是还有很多现实的需求是单台计算机难以达到的。计算机集群就是将多台计算机组织起来进行协同工作来模拟一台功能更加强大的计算机的技术，从而也可以更好的提高系统的可用性和可靠性。数据库作为信息的存储介质，在整个信息化过程中起着重要的作用。对于数据库管理系统的应用，随着信息量的增多和集中，即使运行在性能极高的主机上，在处理大量并发用户和大规模数据时，也很难满足I/O和CPU等方面的性能需求。在这种情况下，将数据库管理系统集中在一起，构成协同工作的数据库集群系统，从而提高系统的整体性能也就自然而然的提出。 本课题的目的是开发一个针对数据库集群的中间件系统，通过这个系统可以将不同厂家的数据库集群在一起，从而使得用户在不增加软硬件资源的情况下就可以提高原有数据库系统的性能和容错性。 首先，本文基于Java、JVM、JMX、XML等多种技术，设计了S-JDBC的集群方式、总体结构和核心工作流程。S-JDBC采用对等式的集群方式，实现了集群中节点的动态增加或删除；提供了一个虚拟的数据库视图，隐藏了后台集群系统的复杂性。 其次，本文研究了S-JDBC中应用的多种负载均衡算法：随机法、轮转法、顺序法、最少请求优先、加权轮转法；分析了S-JDBC中多个层次上负载均衡策略的具体实现。 再次，本文设计了S-JDBC中的故障处理模式，数据备份和恢复策略；实现了对于集群中各种故障的自动处理，数据的自动备份和数据的自动恢复。 最后，本文分析了S-JDBC在使用过程中的性能瓶颈，采用多种方式对其性能进行了调整和优化；同时，给出了S-JDBC在南京28所的具体应用实例。

目录

文摘

英文文摘

声明

第一章引言

1.1研究背景

1.1.1课题来源

1.1.2国内外研究现状

1.1.3研究与市场发展趋势

1.2论文工作

1.3论文组织

1.4本章小结

第二章数据库集群中间件技术研究

2.1集群技术

2.1.1集群概念和特征

2.1.2集群分类

2.1.3集群的优越性

2.2数据库访问中间件

2.2.1数据访问中间件概述

2.2.2常见的数据库访问中间件

2.3数据库集群技术

2.3.1传统的数据库集群技术

2.3.2基于数据库引擎的集群技术

2.3.3基于中间件的集群技术

2.3.4常见数据库集群技术的比较

2.4本章小结

第三章S-JDBC的体系结构设计

3.1 S-JDBC集群设计

3.1.1 S-JDBC的集群需求

3.1.2 S-JDBC的概要设计

3.2 S-JDBC的工作原理

3.3 S-JDBC的总体结构设计

3.3.1 S-JDBC的体系结构

3.3.2 S-JDBC driver

3.3.3 Controller

3.3.4 Backend

3.3.5 Controller Communication protocol

3.3.6 Virtual Database

3.4 S-JDBC的核心工作流程设计

3.4.1 S-JDBC JDBC Driver工作流程

3.4.2 S-JDBC Controller核心工作流程

3.4.3 Driver和Controller中连接的建立

3.5多种技术应用在S-JDBC中的具体实现

3.5.1 JDBC技术

3.5.2 XML技术

3.5.3 JMX技术

3.5.4 Log4j技术

3.5.5 RAIDb技术

3.6本章小结

第四章S-JDBC中负载均衡的设计与实现

4.1负载均衡概念及分类

4.1.1软/硬件负载均衡

4.1.2本地/全局负载均衡

4.1.3更高网路层负载均衡

4.1.4链路聚合技术

4.2 S-JDBC中运用的负载均衡算法设计

4.2.1随机法

4.2.2轮转法

4.2.3最少请求优先

4.2.4加权轮转法

4.3负载均衡在S-JDBC中的实现

4.3.1客户端连接控制器时的负载均衡

4.3.2数据库节点请求之间的负载均衡

4.3.3 S-JDBC的负载均衡的特点

4.4本章小结

第五章S-JDBC的容错处理

5.1数据库故障及影响

5.2 S-JDBC中的故障处理模式设计

5.2.1对于控制器连接的故障处理

5.2.2对于控制器的故障处理

5.2.3对于数据库节点的故障处理

5.3 S-JDBC中的数据库的备份的设计与实现

5.3.1数据库的备份概述

5.3.2 S-JDBC的备份设计

5.3.3 S-JDBC日志管理器的实现

5.3.4 S-JDBC中备份管理器的实现

5.4 S-JDBC中的数据恢复的设计与实现

5.4.1数据库恢复简介

5.4.2 S-JDBC中的数据恢复的设计与实现

5.4.3新增加集群节点的数据同步

5.5本章小结

第六章S-JDBC的性能优化与应用实例

6.1 S-JDBC的性能测试

6.1.1测试结构和测试环境

6.1.2性能评价指标

6.2性能提高

6.2.1队列事务处理优化

6.2.2数据批处理优化

6.2.3插入数据延时优化

6.3 S-JDBC的应用实例

6.3.1 28所原有的访问模式和问题

6.3.2使用S-JDBC集群后的访问模式

6.4本章小结

结论

参考文献

攻读硕士学位期间取得的研究成果

致谢