智能网络磁盘存储系统中文件的数据组织与优化管理方法研究

摘要

随着互联网技术的迅速发展和应用范围的日益扩大，网络信息量的爆炸性增长已成为一种不可阻挡的趋势。面对如此巨大的数据信息量的存取和管理，一方面，传统的存储技术已经不堪重负，亟待发展一种高效廉价的存储方案来满足数据存储的需求。另一方面，由于互联网信息种类繁多且数量巨大，所以大量重复数据的出现将不可避免，若能及时发现和消除这些数据的冗余，将会为用户节省大量的存储空间和网络带宽。因此，开展有关新型存储系统的体系结构和相关数据优化管理方法的研究将有十分重要的理论意义和实际意义。
　　 基于此，本文对现有存储系统的体系结构和文件的数据组织与优化管理方法进行了较深入的研究，其主要研究内容和研究工作结论包括以下几个方面：
　　 1、给出了一种智能网络磁盘（IND）存储系统结构的硬件结构和软件结构模型；对系统资源以进行了层次结构划分，并设计了相应的数据结构来描述系统资源；设计了存储系统的文件访问协议，并给出了各种文件操作算法。
　　 2、提出了智能网络磁盘（IND）存储系统数据对象和元数据对象的组织和管理方法。以量化的方式研究了数据访问的并行性、可伸缩性和负载平衡性。
　　 3、提出了单副本数据对象的保存算法。将主要应用在数据备价领域的重复数据删除技术引入到了主存储领域，它使存储系统具备了重复数据删除技术设备的布局特性，即内容相同的数据对象共享一个副本，能够使存储空间得到有效节省。
　　 4、通过在客户机上利用计算统一设备架构（Computing Unified Device Architecture，CUDA）异构计算技术，进行数据指纹计算，将庞大的数据校验计算工作从原先的少量备份设备上分布到大量客户机上，它使闲置的计算资源在得到有效利用的同时，又实现了数据的单一副本存储，提高了整个存储系统计算资源的利用效率；同时也实现了存储系统中文件的数据组织与优化管理的目的。
　　 论文的研究工作和结论对现有网络存储器的体系结构和存储系统中文件的数据组织与优化管理方法研究将有较好的实际参考价值。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 课题来源

1.2 研究背景

1.2.1 存储网络技术现状

1.2.2 计算能力现状

1.3 本文需要解决的问题及章节安排

第二章 相关研究工作

2.1 面向对象存储技术

2.1.1 OBS系统组成

2.1.2 OBS文件系统关键技术

2.2 分布式系统元数据管理

2.2.1 集中式元数据管理

2.2.2 分布式元数据管理

2.3 分布式系统缓存管理

2.3 重复数据删除技术

2.3.1 基于全文件的内容检测

2.3.2 基于数据块的内容检测

2.3.3 增量编码

2.4 图形处理器通用计算

2.4.1 Brook语言

2.4.2 Cg语言

2.4.3 Sh语言

2.5 本章小结

第三章 IND存储系统结构设计

3.1 IND存储系统硬件结构

3.1.1 智能网络磁盘简介

3.1.2 存储系统拓扑结构

3.2 IND存储系统软件结构

3.2.1 Berkeley DB简介

3.2.2 LDAP简介

3.2.3 目录服务器端

3.2.4 对象服务器端

3.2.5 IND客户端

3.2.6 IND服务器端

3.3 系统资源及其数据结构

3.3.1 设备节点

3.3.2 文件信息资源

3.4 IND存储系统工作原理

3.4.1 客户机存储文件数据

3.4.2 客户机读取文件数据

3.5 文件访问协议

3.5.1 创建文件

3.5.2 更新文件

3.5.3 读取文件

3.5.4 删除文件

3.5.5 创建目录

3.5.6 删除目录

3.6 本章小结

第四章 IND存储系统中对象的组织与存储管理

第五章 基于重复数据删除技术的单副本数据对象保存策略

5.1 单副本数据对象的保存算法

5.1.1 影响算法性能的关键因素

5.2 描述数据对象指纹的数据结构

5.2.1 SHA-256算法简介

5.2.2 SHA-256碰撞分析

5.2 数据对象指纹异构计算

5.2.1 CUDA异构计算模型简介

5.2.2 数据对象指纹的计算方法

5.2.3 基于CPU的指纹算法

5.2.4 基于GPU的指纹算法

5.3 数据对象指纹计算的性能分析

5.3.1 GPU/CPU加速比分析

5.3.2 客户机计算资源智能选择策略

5.4 本章小结

第六章 系统性能测试及分析

6.1 数据对象与元数据对象的访问性能测试及分析

6.2 单副本数据对象校验策略的性能测试及结果分析

6.3 本章小结

总结与展望

论文工作总结

研究展望

参考文献

附录

攻读硕士学位期间取得的研究成果

致 谢