基于分布式哈希表的网格资源发现机制研究

摘要

随着当今科学技术的发展以及互联网技术的普及，各种特殊应用对广域分布的资源之间共享和协同提出更高的需求，网格技术成为近年来分布式系统领域中一个研究热点。网格目标是将地理上分布、异构的高性能计算机、数据服务器和大型检索存储系统等资源，通过高速互连网络连接并集成起来，共同解决问题，最终消除信息孤岛和资源孤岛；在动态的网格环境中分布着大量不同类型的服务和资源，快速、准确地进行资源与服务发现，是影响网格计算性能的关键因素。 在网格从基础理论研究阶段逐步走向应用阶段的今天，网格系统对网格资源发现提出了新的要求，例如可扩展性、基于属性查找、范围查找、多属性查找等。资源发现策略归根到底取决于系统中资源的组织模式。结构化拓扑资源发现机制，将杂乱的信息有序化，然后将信息按照一定的规律组织，进而抽象出高效的查询算法完成准确查询定位。分布式哈希表技术具有的结构化特性优势，为资源发现机制提供可扩展的巨大潜力和新性能。 本文围绕分布式哈希表在网格资源发现机制中的应用展开研究，主要内容概括如下。 (1)通过对网格基本概念、网格资源特性的系统分析，得出网格环境下资源发现机制的功能需求，并对目前较为成熟的共享环境中的资源发现机制进行了分析。 (2)重点分析了结构化方式中基于分布式哈希表(DHT)的资源发现机制。OHT技术可以准确地定位关键字所在位置，具有的结构化特性优势，为资源发现提供可扩展的巨大潜力和新性能。然而，这种分布式查找能力对于网格环境下的资源定位还不够。网格资源发现机制不仅应考虑资源的位置信息，而且应考虑资源的属性信息，分别从多属性查询技术和范围查询技术两个方面对现有的部分基于分布式哈希表的网格资源发现机制进行分析、比较，讨论了分布式哈希表技术在网格资源发现机制中的应用。 (3)针对分布式哈希表在处理多属性查询和范围查询时的不足，提出一种基于Chord的网格资源发现机制VChord。使用DHT技术的Chord系统，命名空间是一维的，需要为系统中节点和资源对象提供一个唯一的ID，即Chord系统只能处理单关键字。VChord在基本不改变Chord原有特性的基础上，通过定义网格资源向量空间，资源属性的表示方法，从修改关键字key的内容着手，将由资源的多属性产生的多关键字转换成由单关键字表示的单一属性，实现增强查找发现能力的目标，可以满足多属性查询和范围查询的要求，并对相关问题进行了讨论。通过模拟实验验证VChord的有效性与可用性，并对实验结果进行了分析。 (4)研究提出了资源发现机制中资源的主动声明问题。处于可用状态的资源，可以通过向潜在用户发送声明信息，声明其可用状态，主动供用户选择。资源的主动声明可以使资源参与到资源发现过程中，变被动等待为主动参与，用以提高资源被发现和被使用的概率。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景

1.1.1网格

1.1.2网格资源

1.1.3 VO虚拟组织

1.2问题提出

1.3研究内容

1.4论文结构

第二章共享资源环境中的资源发现机制研究

2.1 Web Services中的服务发现

2.2网格项目中的资源发现

2.2.1 Globus项目中的资源发现机制

2.2.2 Condor项目中的资源发现机制

2.2.3 UNICORE

2.2.4 LCG/EGEE

2.2.5织女星网格资源发现(VIRD)

2.2.6资源查找方式总结

2.3结构化资源发现机制

2.3.1组织结构

2.3.2结构化P2P系统

第三章基于分布式哈希表的资源发现机制

3.1分布式哈希表

3.2几种DHT路由协议

3.2.1基于环拓扑的Chord系统

3.2.2基于d维空间的CAN系统

3.2.3基于Plaxton树型拓扑的Pastry/Tapestry系统

3.2.4 P-Grid

3.2.5 Kademlia

3.2.6 DHT的特性

3.3分布式哈希表在网格资源发现机制中的应用

3.3.1问题描述

3.3.2基于DHT的多属性查询技术

3.3.3基于DHT的范围查询技术

第四章基于Chord的网格资源发现机制

4.1向量空问模型

4.2网格资源向量空间

4.2.1模型定义

4.2.2向量夹角θ的标准化处理

4.3资源属性的表示

4.3.1字符型属性

4.3.2数值型属性

4.3.3资源动态属性更新

4.4资源的注册与查找

4.4.1资源注册过程

4.4.2资源查找过程

4.5模拟试验与分析

4.5.1 DHT系统模拟器

4.5.2模拟环境

4.5.3模拟试验中的主要文件

4.5.4模拟结果分析

第五章资源发现机制中的资源主动声明

5.1资源的主动声明

5.2 AD中的关键技术

5.2.1缓存

5.2.2声明

5.2.3实现过程

5.3有效性验证与性能分析

5.3.1性能分析

5.3.2有效性验证

第六章，总结与展望

6.1本文工作总结

6.2进一步工作

参考文献

致谢

攻读硕士学位期间发表的论文