高性能、高适应性分布式文件服务器研究与实现

摘要

本文研究的目标就是面向分布式计算环境下的文件存储系统,分析当前文件服务器领域的现状及不足,研究构造一个高性能、高适应性的分布式文件服务器系统所涉及到的理论和技术问题,并介绍已经在应用的实现系统.论文首先介绍集中式文件服务器的两种主要形态,以及它们的差异;接着,介绍分布式文件服务器的几种形态.最后,讨论当前普遍使用的分布式文件服务器的不足之处.论文接下去针对当前分布式文件服务器的不足之处,给出分布式文件服务器的高性能、高适应性的功能需求.而后针对每一个功能点的实现展开详细的讨论,力求找到方便、合理的解决方案.论文的第四章对部分可行的解决方案给出具体的设计思路,详细阐述实现所需用到的关键技术,并给出必要的理论证明.针对文件服务器的应用特点,本文提出了间歇性使用型文件缓存的设计思想,并给出了详细的设计方案;将Adapter的设计思想用于文件传输协议模块,文件存储模块以及数据加密过滤器模块的设计,使文件服务器的应用环境适应能力以及客户需求的适应能力得到加强;使用心跳控制技术搭建准网格存储架构,从而实现从服务器的动态部署.论文的第五部分主要介绍了高性能、高适应性的文件服务器应用实例——Dragon,并主要围绕着缓存的效能进行了性能测试.通过各项测试表明,使用文件缓存后,该文件服务器的性能得到显著提升.论文的最后总结论文的主要研究成果,并对今后的研究工作做了进一步展望.

目录

文摘

英文文摘

第一章 绪论

1.1引言

1.2分布式文件服务器简述

1.2.1文件服务器

1.2.2分布式技术

1.2.3分布式文件服务器的发展

1.3研究意义

1.4研究内容

1.4本章总结

第二章 文件服务器现状

2.1集中式文件服务器的主要形态及典型产品

2.1.1 SAN

2.1.2 NAS

2.1.3两种技术的差异

2.2分布式文件服务器的广泛运用

2.2.1从SAN和NAS扩展出来的分布式文件服务器

2.2.2基于其他分布式文件系统的分布式文件服务器

2.2.3基于WEB的分布式文件服务器

2.3当前的分布式文件服务器存在的不足

2.3.1使用JAVA开发，性能不足

2.3.2无法做到充分地动态部署，使用环境单一

2.3.3服务器产品整体化，难以集成到应用中

2.3.4用户帐号管理复杂，增加开发难度

2.4本章总结

第三章 高性能、高适应性的分布式文件服务器总体设计思路

3.1提升性能

3.1.1功能需求

3.1.2解决方案

3.2方便部署

3.2.1功能需求

3.2.2解决方案

3.3加强安全

3.3.1功能需求

3.3.2解决方案

3.4保证稳定

3.4.1功能需求

3.4.2解决方案

3.5总体设计思路

3.6本章总结

第四章 分布式文件服务器的关键技术及使能服务

4.1服务器端文件CACHE

4.1.1 CACHE简述

4.1.2基于虚拟机技术的文件服务器的CACHE解决方案

4.1.3基于内存文件系统的间歇性使用型CACHE系统

4.1.4基于虚拟机的分布式文件服务器CACHE系统设计

4.2 Adapter设计思想

4.2.1 Adapter概念

4.2.2文件传输协议Adapter的实现

4.2.3文件存储系统Adapter的实现

4.2.4数据加密过滤器Adapter的实现

4.3 Grid的设计思想

4.3.1即插即用思想及网格

4.3.2网格存储

4.3.3具有网格特性的服务器网络模型

4.4本章总结

第五章 应用实例简介及性能测试

5.1项目背景

5.2 Dragon

5.2.1系统结构

5.2.2接口设置

5.3 Dragon的性能测试

5.3.1测试环境简介

5.3.2使用CACHE后文件服务器的直接性能提升

5.3.3不同CACHE容量时的CACHE性能指标和文件服务器性能

5.3.4不同CACHE文件阈值时的CACHE性能指标和文件服务器性能

5.3.5测试结论

5.4本章总结

第六章 总结与展望

6.1论文主要工作概述

6.2未来工作展望

6.2.1 CACHE系统的改进

6.2.2服务器群进一步网格化

6.2.3使用P2P的传输模式

参考文献

致谢