存储虚拟化数据传输的设计与实现

摘要

随着信息化技术的发展,传统的数据管理体系已经不能满足数据密集型应用和高性能计算的要求,存储虚拟化技术为解决这个问题提供了一条有效途径.GDSS(Global Distributed Storage System)是一个存储虚拟化系统,该系统实现了广域网范围内存储资源的统一管理和共享,屏蔽了底层数据资源的分散性和异构性,为用户提供了透明的逻辑视图.传输系统是GDSS中的一个重要模块,其性能直接决定了GDSS的性能.为了确保GDSS的高性能和高可靠性,传输系统综合采用了多种技术,包括自适应传输、分片并行传输、连接复用和基于多副本的断点续传等.其中自适应传输根据文件大小和服务器状态决定传输方式:当传输大文件时采用分片并行传输,通过多线程并行传输,提高传输效率;而当传输批量小文件时采用连接复用技术,通过一个连接传输所有小文件,这样与普通文件传输协议(File Transfer Protocol,FTP)相比显著减少了连接次数,从而提升了传输性能.另外,为了确保系统的可靠性,传输系统还采用了基于多副本的断点续传和双日志技术.其中基于多副本的断点续传在普通断点续传的基础上利用系统中存在多副本的特点,在恢复过程中充分利用可用的副本;而双日志技术采用主日志和备份日志相结合,确保任何时刻至少存在一个日志是可用的,为断点续传的正常进行提供基础.经过测试,与普通FTP相比,GDSS传输大文件时的性能提高1~3倍,传输批量小文件时的性能提高2~10倍.结果表明GDSS传输系统的性能达到了预期效果.

目录

文摘

英文文摘

独创性声明及学位论文版权使用授权书

1绪论

1.1研究背景

1.2存储虚拟化的研究现状

1.3本文研究的主要内容

2存储虚拟化系统结构

2.1整体结构

2.2主要模块

2.3小结

3数据传输子系统的设计

3.1方案概述

3.2分片并行传输算法

3.3连接复用算法

3.4自适应传输算法

3.5基于多副本的断点续传算法

3.6小结

4数据传输子系统的实现

4.1客户端

4.2文件接口

4.3并行文件接口

4.4自适应传输决策

4.5 连接复用

4.6基于多副本的断点续传

4.7 底层传输

4.8小结

5系统测试

5.1测试环境

5.2功能测试

5.3性能测试

5.4小结

6结束语

致谢

参考文献

附录1(攻读学位期间发表的论文目录)