科学数据网格分布式查询框架及其关键技术研究

摘要

数据网格研究的一个主要目标是实现海量分布式异构数据资源的共享。在网格这样一个松耦合的分布式异构系统中，在不破坏数据资源管理者自治性的条件下如何对这些共享的海量异构数据资源进行有效的查询是一个极具挑战性的难题。面对如此挑战，本文基于科学数据网格的实际情况对其分布式查询处理系统进行了深入的研究。 论文研究的主要内容和创新成果如下： 1．设计了一个适用于科学数据网格环境的分布式查询框架——SDGDQA。整个框架分为三层：用户接口层、中间协调层和查询层。用户接口层在框架中充当人机交互界面的角色，它一方面接受用户的查询请求，主动帮助用户细化查询要求并显示查询结果，另一方面又在整个过程中记录并学习用户的兴趣和习惯；中间协调层是框架的核心部分，主要实现查询计划的全局优化、数据资源的定位、查询计划的拍卖和分发等功能；查询层主要实现查询计划的竞标和局部优化等功能。为了适应结点的局部自治性和动态变化性，本文在SDGDQA中使用了移动agent技术，并重点说明了移动agent的迁移和通信策略。 2．基于小世界模型的数据资源定位机制。分析了科学数据网格的小世界网络特征，并对其进行结构化设计。按照虚拟组织-机构-网格实体(资源)这三个层次，建立了分层数据资源定位模型。基于Gossip协议建立了虚拟组织内部以及虚拟组织之间两个层次上的消息扩散机制，并提出了两层数据资源搜索算法。该数据资源定位模型符合网格环境的分布式特点，便于数据资源的动态加入与退出，具有很好的可扩展性。改进后的分层Gossip机制减小了消息扩散负荷，增大了扩散范围，能有效地更新在各分布式信息服务器中存储的异地资源信息。两层数据资源搜索机制能够有目的地选择结点，从而克服了搜索的盲目性，有效提高了数据资源查询的效率和性能。 3．基于市场机制的查询计划分配模型。首先把SDGDQA中的查询计划看作一种网格资源，然后根据数据网格的特点和市场机制特性的部分一致性，利用市场机制来实现查询计划的分配，并详细介绍了查询计划分配模型的系统结构、具体经济模型、协商协议以及竞标和拍卖算法，最后对模型中的拍卖师和竞标者的收益进行了分析。分析表明基于市场机制的查询计划分配模型具有以下优点：(a)从原来资源分配以系统为中心转化为以用户为中心；(b)为查询资源提供者提供公平存取查询计划的基础；(c)鼓励查询资源提供者贡献他们的空闲资源并能从中获利，有利于调节网格资源的供需平衡，便于建立大规模的网格资源分配系统；(d)允许查询计划提供者表达他们的需求和目标；(e)查询计划提供者和查询资源提供者能够根据自己的实际情况做出决策，最大化各自的效用和利益。 4．基于遗传规划的查询优化算法及其收敛性分析。提出一种基于遗传规划的查询优化算法。该算法把查询计划看作一棵查询树，从而在表达形式上更加灵活。算法搜索空间内的个体都是LBT树。对比分析了搜索空间内的个体是LBT树和GBT树的上下界，分析的结果可以看出算法大大缩小了搜索的范围。算法在适应度函数定义方面添加了惩罚项，对关系之间带有笛卡儿积的LBT树进行惩罚。在运算算子的设计方面使用同源交叉法，使得交叉过程能够考虑上下文关系。实验结果表明本文提出的算法在关系较多情况下的优势。最后利用：Markov链分析算法的收敛性，证明了采用最优个体保留策略的遗传规划优化算法是收敛的。

目录

文摘

英文文摘

论文说明：图目录及表目录

声明及论文版权使用授权书

第一章引言

第二章分布式查询处理研究综述

第三章科学数据网格分布式查询框架——SDGDQA

第四章SDGDQA的数据资源定位机制

第五章SDGDQA的查询计划分配模型

第六章SDGDQA的查询优化及其收敛性分析

第七章结束语

参考文献

致谢

作者简历