数据网格中高可用性副本管理及性能优化研究

摘要

数据网格的出现解决了传统的数据管理系统难以对大规模的、分布式的数据进行数据访问、传送、分析的难题。极大地推动了涉及大规模数据管理的科学研究和工程实践的发展。为了在数据管理中提高数据可用性、减少网络流量、增强数据访问性能,在数据网格中引入了副本管理技术。然而,由于数据网格系统本身及其资源的高度动态性、异构性、广域性的特点,阻碍了数据高可用性及性能优化的取得。如何针对数据网格的特点,建立恰当的副本管理机制,切实提高数据网格中数据的可用性和改善数据访问性能,已成为数据网格中的一个研究热点。本文基于相关研究成果的对比研究,总结了数据网格中的副本管理需求,给出了一种动态副本管理服务模型,并据此提出了相应的自适应副本创建策略、动态均衡的副本定位算法、基于模糊灰预测的副本选择算法和动态异步的副本一致性维护算法,分别是:①根据数据网格的特点,分别分析了数据网格中副本数据高可用性需求及数据访问性能优化需求,建立了一种动态副本管理服务模型,能够满足数据网格动态性,提高了数据可用性,优化了数据访问性能。②针对数据网格副本管理中的副本创建问题,采用Markov模型计算了副本冗余度,考虑了多个副本数据不一致对可用性的影响,更准确的保障了数据可用性。并提出了基于开销分摊的副本创建策略,在节点自治的前提下取得了全局性能优化。从理论上证明了开销分摊副本创建算法的正确性和全局性能优化特性。最后,通过仿真实验进一步验证了算法的有效性和正确性。③针对数据网格副本管理中的副本定位问题,在改进蚁群算法的基础上,提出了一种动态均衡的副本定位算法,能够自适应节点的动态加入和退出进行准确定位,提高了数据访问性能。针对数据网格副本管理中的副本选择问题,在提出的动态均衡副本定位算法基础上,提出了一种基于模糊灰预测的副本选择算法,对预测样本要求低,通过模糊控制器的优化,获得了较高的预测精度。最后通过仿真实验确定了模糊控制器自学习因子的选取,并验证了副本定位算法与副本选择算法的有效性和正确性。④针对数据网格副本管理中的副本一致性维护问题,提出了一种动态异步的数据一致性维护策略。该策略通过设计的动态投票机制可以适用于节点低在线率的副本一致性维护;通过减少一致性维护过程中读写操作节点参与数,改善了系统性能,并提高了数据可用性;通过降低系统内通信开销达到了提高系统可扩展性的目的。从全局有序性和读一致性证明了该算法的正确性。最后通过仿真实验验证了副本一致性维护算法的正确性和有效性。综上,本文针对数据网格副本管理的需求,提出了一种动态副本管理服务模型及相关算法,为提高数据可用性和优化性能提供了一种较好的解决方案。理论分析和仿真实验结果表明:在现有研究基础上,本文所提出的副本管理服务策略是正确、有效的,能够弥补现有研究的不足,可用于数据网格环境下的副本管理。

目录

摘要

ABSTRACT

1 绪论

1.1 研究背景

1.2 国内外研究现状

1.3 研究目的及论文贡献

1.4 论文组织结构

2 数据网格及副本管理技术研究

2.1 数据网格

2.1.1 数据网格概述

2.1.2 数据网格中的数据管理

2.2 副本管理技术

2.2.1 副本管理的特点

2.2.2 副本管理技术的基本概念

2.2.3 副本管理的关键技术

2.3 数据网格中的副本管理需求

2.4 本章小结

3 数据网格动态副本管理模型

3.1 引言

3.2 数据网格中副本数据高可用性分析

3.2.1 数据高可用性

3.2.2 数据网格副本数据高可用性

3.3 数据网格中副本数据访问性能优化分析

3.3.1 数据访问性能优化需求

3.3.2 副本数据访问性能优化策略

3.4 动态副本管理模型

3.4.1 副本管理服务

3.4.2 副本管理服务的功能

3.4.3 动态副本管理模型

3.5 本章小结

4 开销分摊的自适应副本创建策略

4.1 问题的提出

4.1.1 副本创建策略分析

4.1.2 问题描述

4.2 相关工作

4.3 副本冗余度的计算

4.4 副本创建算法

4.4.1 开销分摊激励机制

4.4.2 基于开销分摊的副本创建策略

4.5 理论证明

4.5.1 开销分摊的副本创建算法正确性分析

4.5.2 副本创建算法全局优化分析

4.6 仿真实验

4.6.1 仿真工具OptorSim

4.6.2 实验设置

4.6.3 实验结果

4.7 本章小结

5 副本定位与选择机制

5.1 问题分析与描述

5.1.1 数据网格副本定位问题分析

5.1.2 副本选择需求分析

5.2 相关工作

5.3 动态均衡的副本定位算法

5.3.1 基本思想

5.3.2 系统模型

5.3.3 副本定位算法

5.4 基于模糊灰预测的副本选择策略

5.4.1 副本选择系统模型

5.4.2 基于GM(1，1)的灰色预测模型

5.4.3 自适应模糊控制补偿

5.4.4 副本选择策略

5.5 理论分析

5.6 仿真实验

5.7 本章小结

6 动态异步的副本一致性维护策略

6.1 问题描述

6.1.1 副本一致性维护需求分析

6.1.2 研究现状

6.2 基于投票机制的动态一致性维护策略

6.2.1 副本一致性维护模型

6.2.2 动态投票机制

6.2.3 副本读写一致性维护算法

6.2.4 算法描述

6.3 理论证明

6.4 仿真实验

6.5 本章小结

7 结论

致谢

参考文献

附录：攻读博士学位期间发表的学术论文和参加的科研项目

发表的学术论文

参加的科研项目