数据网格内支持服务相似查询的P2P框架的研究

摘要

近十年来，计算机网络迅猛发展，同时网络的使用也逐渐增加，信息的数量、种类和分布都达到了一种“爆炸式”的增长。如何存储、分发、组织和管理、高性能处理、分析和挖掘海量分布数据成为许多应用的首要问题。数据网格技术的发展为解决这个问题提供了一条有效的技术途径。它通过开发能够集成网络上分布的多个数据集等资源，形成单一虚拟的数据访问、管理和处理环境，为用户屏蔽底层异构的物理资源，建立分布海量数据的一体化数据访问、存储、传输、管理与服务架构。 其中，松散耦合的Web服务成为为用户屏蔽底层异构的物理资源这个问题的首选。Web服务与数据网格结合形成网格数据服务。于是，对网格数据服务的有效管理变得越来越重要。传统上是对UDDI进行扩展来实现网格数据服务的描述、发现和集成，或者直接使用OGSI-DAI实现。但是由于UDDI和OGSI-DAI采用集中的方法，有其局限性，因此出现了管理网格数据服务的新方法——P2P(peer-to-peer)方式。P2P方式作为一个彻底的分布式计算模型，与集中的服务器方式相比，具有一些优势，如避免了单点失败，可扩展性好等。 本文，首先对已有的P2P结构和算法进行了深入分析和讨论，提出了基于Hilbert曲线的服务放置空间这一概念，并结合现有的Chord算法进行改进，提出将Hilbert曲线融入Chord环中形成一种新的改进结构-HilbertChord环。它是一种基于Hilbert曲线结构的Chord系统，为网格数据服务的模糊查询提供了很好的支持。系统的构架使用DHT来建立，同Chord环构建网络拓扑相似，但关键区别在于映射服务的方式是将服务映射成一条Hilbert曲线。系统首先使用类似{多个关键字，网格服务URL}来描述某一具体的网格服务，然后将这一系列关键字哈希成一组数字，将这一组数字作为该服务在空间中的一点坐标，再用Hilbert曲线将所有的点连接起来进行降维，通过Hilbert函数计算出服务点的曲线长度，使一个服务就被描述成一段线段的长度，即用线段的长度来表示特定服务，再将Hilbert曲线转变成一个Chord环，从而将服务转变成线段长度映射到节点上。应用了该结构的数据网格系统，除具有一般数据网格的特点外，还有更高的分布性和可靠性、查全率和查准率，实现对网格数据服务的更有效管理。 在此基础上，每个服务描述文件再维护一个相似服务信息表，表中仅记录在hilbert空间与其相邻的服务的Hilbert曲线长度。这样在保证了查准率的基础上满足了对于网格数据服务的相似查询。通过实际验证，本文所提出的数据网格环境下，支持分布式网格数据服务的HilbertChord结构是可行的，达到了预期的目标。

目录

文摘

英文文摘

声明

第一章绪论

1.1数据网格简介

1.1.1数据网格的目的与意义

1.1.2数据网格的应用背景和发展现状

1.2 P2P简介

1.2.1 P2P的内涵与目的

1.2.2 P2P的应用

1.3 P2P算法应用于数据网格的研究

1.4本文解决的主要问题及组织结构

第二章EFCS—Grid系统简介

2.1 EFCS-Grid系统的应用背景

2.2 EFCS-Grid系统框架介绍

2.3 EFCS-Grid系统数据网格部分介绍

2.4本文工作重点

2.5小结

第三章相关概念和关键技术

3.1 Web服务

3.2网格相关介绍

3.2.1 OGSA

3.2.2 OGSI

3.2.3 GT3

3.3 XML

3.4 JXTA

3.5 Shunsaku(瞬索)

3.6分布式相容哈希(DHT)

3.7 Chord算法

3.8空间填充曲线

3.8.1 Hilbert曲线定义

3.8.2 Hilbert曲线性质

3.9小结

第四章HilbertChord环的总体思想

4.1 P2P系统模型介绍

4.2基于DHT的P2P系统搜索定位机制分析

4.2.1 CAN

4.2.2 Pastry

4.2.3 Tapestry

4.2.4 Chord

4.3基于DHT技术搜索定位技术的不足

4.4 HilbertChord的提出

4.4.1 HilbertChord中相关概念

4.4.2 HilbertChord环的基本原理

4.4.3 HilbertChord环特点

4.4.4 HilbertChord环形成过程

4.5 SOA服务管理机制

4.5.1基于HilbertChord环的SOA服务管理

4.5.2 HilbertChord环服务描述信息模型

4.6小结

第五章基于HilbertChord的服务发布与查询

5.1服务发布

5.1.1服务发布过程

5.1.2登记HilbertNeighbor过程

5.1.3服务发布时间复杂度分析

5.1.4通过服务相似度矩阵优化邻居服务查询

5.2服务查找

5.3 HilbertChord环中节点的加入与退出

5.3.1节点的加入

5.3.2节点的退出

5.4 HilbertChord的评价

5.4.1空间复杂度评价

5.4.2性能评价

5.5性能测试

5.5.1 HilbertChord与Chord性能测试比较测试

5.5.2 HilbertChord原理测试

5.6小结

第六章HilbertChord应用于数据网格的设计和实现

6.1 HilbertChord组件结构和功能模块

6.2 HilbertChord的运行

6.2.1服务的注册

6.2.2服务的查询

6.2.3节点的加入

6.2.4节点的退出

6.3 HilbertChord组件的实现

6.3.1 P2P节点产生和启动

6.3.2路由表的实现

6.4小结

第七章结束语

参考文献

致谢

攻研期间论文发表情况

攻研期间科研情况