基于网格的分布式存储系统中数据分布和传输机制研究与实现

摘要

为了将分布在不同地点的计算机资源共享起来，便于利用空闲的CPU或存储空间等资源出现了网格和网格计算的概念。人们希望能够就像用电一样，方便地访问网格平台上的各种资源如计算资源、存储资源、科学仪器等。由于网格平台上的不同计算机节点是分散的，当网格提供计算服务时所需要的输入数据或输出数据不一定在同一节点，这就要求需要有相适应的数据传输协议和数据传输软件来支持以，做相应的处理。 在网格环境下有不同的存储系统。这些不同的存储系统根据特定的要求存储和访问大数据集而建立。这些存储系统专注于不同的需求，并为它们的客户提供不同的服务。有的系统侧重考虑高性能的访问，所以使用并行数据访问和通过不同的服务器提供带状数据访问，以提高性能。有的系统专注于支持大容量的数据访问则可以使用数据集复制本地缓冲分流和平衡服务器负载本文基于实验室存储网格项目，详细介绍了存储网格的架构，着重研究基于网格平台的分布式存储器数据存储机制，数据传输机制，模型以及实现方法，包括数据节点的数据分布机制、数据服务的运作机制、数据传输机制等。重点论述了网格服务的注册，管理节点与存储节点间的架构，如何分发数据，以及采用虚拟文件系统为存储网格环境提供统一的文件视图和网格服务所实现的功能以及实现的原理。本文还讨论了如何用符合WSRF规范的网格服务的形式访问数据服务器与SOA架构相结合，展望并提出一些有待增强的方面。

目录

文摘

英文文摘

声明

致谢

1引言

1.1论文背景及研究动机

1.1.1计算机数据存储

1.1.2网格技术

1.1.3网格技术在存储领域的应用

1.2论文研究内容

1.2.1论文的主要贡献

1.2.2论文组织

2 Globus 4.0以及WSRF框架

2.1 Globus的发展

2.2 WSRF框架

2.2.1 OGSA

2.2.2 OGSA的基本思想

2.3 WSRF框架下网格服务开发概述

2.4网格数据传输

2.4.1 GASS(Global Access to Secondary Storage)

2.4.2 Grid FTP

2.4.3 RLS(Replica Location Service)

3存储网格中数据分布和传输机制的研究与实现

3.1北京交通大学存储网格项目

3.1.1项目背景

3.1.2系统目标

3.1.3系统主要模块

3.2数据传输Web服务模块的设计与实现

3.3存储服务模块存储调度器存储服务监测模块

3.3.1服务实例创建机制

3.3.2服务实例的生命期控制

3.3.3接口的继承技术

3.4数据传输技术

3.4.1传统的数据传输协议

3.4.2基于服务实现的网格文件传输

3.5服务接口设计

3.5.1基木网格接口设计

3.5.2文件管理接口

3.5.3文件上传接口

3.5.4文件下载接口

3.6数据存储的统一视图

3.6.1虚拟文件系统

3.6.2将GridFTP与VFS集成在一起

4存储网格与SOA的整合

4.1面向服务的架构

4.1.1什么是SOA

4.1.2在网格中采用SOA的价值

4.2网格服务的重构

4.2.1网格管理节点

4.2.2网格节点

4.2.3重组网格

5结论

5.1主要结论

5.2进一步的研究

参考文献

附录A

作者简历