面向现代服务业的大规模分布式文件存储系统设计和实现

摘要

随着Internet技术的发展与深入应用，互联网上的信息量呈爆炸式增长，如何有效的存储和管理这些数据成为专家学者们关注的焦点。到目前为止，对于分布式文件系统已经展开了大量的研究工作，设计实现了一批基于Linux的文件服务器来存储和管理这些数据。这些服务器通过高速的局域网络相连接组成服务器集群，对外提供高效、稳定的服务。 通过对国内外比较优秀的分布式文件系统进行学习和总结，结合国家支撑计划现代服务业关键技术平台项目，论文设计并实现面向现代服务业服务基础技术平台的大规模分布式文件存储系统。 文章首先从用户需求、外部接口及系统性能和可靠性需求三个方面对系统需求进行了分析，在此基础上提出了系统的总体架构。系统主要由主服务器(MasterServer)、文件块存储服务器(Chunk Server)及客户端(Client)三部分组成。Master Server主要负责对元数据进行管理，包括名字空间，文件到文件块的映射，文件块到Chunk Server的映射；Chunk Server负责管理文件块的I/O操作，根据Master Server的指令对文件块进行新建、删除和复制等操作；Client为应用端提供文件操作接口，包括文件的创建、追加、读取及删除操作。 然后介绍了分布式文件系统涉及到的关键技术--主要包括实现方案、缓存设计及负载均衡算法设计三个方面。根据实际应用的需要，本系统采用共享文件系统的实现方案，在客户端主存对数据进行缓存以及通过write-through算法保证缓存的一致性。文章通过基于可配置权值的动态自适应请求调度算法实现对客户端请求和文件块分配负载均衡以及基于最小发送请求数算法实现文件块的Rebalance。最后对负载均衡算法进了测试分析。 接着详细介绍了数据交互的总体架构和具体流程，主要包括文件的创建、追加、读取及删除操作。为了保证数据的可用性和一致性，本文提出了文件块拷贝、数据校验以及垃圾回收等机制。 文章最后给出了系统原型实现类图并对整体性能进行了测试。在系统实现部分，介绍了基于IO流的基本数据类型的设计实现以及Master Server、ChunkServer、Client的实现类图。通过对文件的上传、下载、Chunk Server的负载情况及容错情况进行测试，测试结果基本上达到了预期效果。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章绪论

1.1引言

1.1.1分布式文件系统的发展

1.1.2课题背景

1.2国内外现状

1.2.1 NFS文件系统

1.2.2 Coda文件系统

1.2.3 Global文件系统

1.2.4蓝鲸文件系统

1.2.5相关研究工作

1.3文章研究内容和目标

1.4论文结构

第2章分布式文件系统总体架构

2.1系统需求分析

2.1.1用户需求描述

2.1.2外部接口描述

2.1.3系统性能和可靠性需求

2.2系统总体架构

2.3系统交互设计

2.3.1 Master Server和Chunk Server之间的交互设计

2.3.2 Master Server和Client之间的交互设计

2.3.3 Chunk Server和Client之间的交互设计

2.4本章小结

第3章分布式文件系统关键技术研究

3.1分布式文件系统的实现方案

3.1.1共享磁盘

3.1.2共享文件系统

3.1.3本系统实现方案

3.2分布式文件系统的缓存设计

3.2.1数据缓存位置

3.2.2缓存一致性

3.2.2本系统缓存设计

3.3负载均衡算法设计

3.3.1客户端请求调度负载均衡设计

3.3.2请求调度算法测试

3.3.3文件块存储负载均衡设计

3.3.4文件块存储负载均衡测试

3.4本章小结

第4章分布式文件系统交互设计

4.1系统结构

4.2 Single Master机制

4.3元数据设计

4.4数据交互

4.4.1目录创建与删除

4.4.2文件创建

4.4.3文件追加

4.4.4文件读取

4.4.5文件删除

4.5数据可用性和一致性

4.5.1 Chunk Server宕机

4.5.2文件块数据校验

4.5.3文件块拷贝

4.5.4垃圾回收机制

4.6本章小结

第5章分布式文件系统实现及性能测试

5.1系统IO流基本数据类型设计和实现

5.2 Master Server实现

5.2.1 Master Server主体部分设计实现

5.2.2系统管理部分设计实现

5.2.3名字空间的设计实现

5.3 Chunk Server实现

5.3.1 Chunk Server主体部分设计实现

5.2.2 Chunk及ChunkServerInfo设计

5.4客户端的实现

5.5性能测试

5.5.1测试环境简介

5.5.2测试结果及分析

5.6本章小结

第6章总结与展望

6.1本论文主要工作概述

6.2未来工作展望

参考文献

致谢

作者简历