ft-MSFS:一种容错的混合P2P海量小文件存储系统

摘要

近年来，云计算已成为分布式计算领域和服务计算领域的研究热点。随着互联网的迅猛发展，数据的海量存储需求对传统数据存储模式提出了巨大的挑战。云存储（存储即服务）正越来越多的受到人们的关注。集群/分布式文件系统作为支撑云存储的核心技术之一，其系统扩展性，可用性，高效性和可靠性成为解决海量数据存储难题的关键。然而，目前大多数集群份布式文件系统都被设计用来管理大文件。当在处理海量的小文件时，这些文件系统并不具有良好的性能表现。同时，对等网络(peer-to-peer，P2P)技术具有扩展性、负载均衡、鲁棒性和隐私性等优点，在海量数据的分布式存储领域得到了快速的发展。但是对等网络节点具有动态性特点，节点存在频繁的扰动，这给扰动情况下的数据查询一致性带来了巨大的挑战。
　　针对目前小文件存储所面临的问题，本文提出了云存储环境下面向海量小文件的元数据管理模型，该模型基于具有超级节点的混合P2P拓扑结构，对小文件的优化管理具有一定的普适性。此外，针对模型中节点扰动情况，给出相应的容错模型并提出了一种两阶段扰动修复算法以避免数据查询的不一致。最后本文设计并实现了一个面向容错的海量小文件存储系统ft-MSFS，通过测试对比发现，在小文件的读写性能上有着明显的提升并具有很好的鲁棒性。同时该系统验证了本文提出的扰动容错修复算法在一定程度上提高了失效情况下数据查询的一致性。

目录

摘要

注释表

缩略词

第一章 绪论

1．1 研究背景及意义

1．1．1 海量小文件所面临的挑战

1．1．2 存储的可用性挑战

1．2 研究现状及选题依据

1．3 论文主要工作及论文结构

1．3．1 主要工作

1．3．2 论文结构

第二章 相关研究内容及问题

2．1 P2P覆盖网络

2．1．1 P2P覆盖网络分类

2．1．2 P2P在海量数据存储中的应用

2．2 P2P容错及一致性问题研究

2．2．1 混合P2P容错问题

2．2．2 P2P数据查询一致性问题

2．3 小文件存储优化技术

2．4 本章小结

第三章 混合P2P海量小文件元数据管理模型研究

3．1 混合P2P海量小文件元数据管理模型

3．1．1 海量小文件元数据

3．1．2 混合P2P元数据管理模型

3．1．3 小文件元数据读写流程

3．2 混合P2P海量小文件元数据容错模型

3．2．1 后备超级节点容错机制

3．2．2 混合失效检测模型

3．2．3 后备节点失效恢复流程

3．3 本章小结

第四章 节点扰动容错修复算法

4．1 两阶段扰动修复算法

4．1．1 基本概念和节点初始化

4．1．2 节点加入修复算法

4．1．3 节点失效修复算法

4．2 混合P2P容错模型扰动修复算法

4．2．1 改进型混合P2P后备超级节点容错模型

4．2．2 改进模型的节点加入修复算法

4．2．3 改进模型的节点失效修复算法

4．3 本章小结

第五章 原型系统ft-MSFS实现与测试

5．1 系统整体架构设计

5．1．1 系统架构需求分析

5．1．2 系统整体架构

5．1．3 ft-MSFS核心模块服务器设计

5．2 小文件读写流程和容错机制的实现

5．2．1 小文件读写流程

5．2．2 容错机制的实现

5．3 系统性能与可用性测试

5．3．1 测试环境的搭建

5．3．2 ft-MSFS性能测试

5．3．3 ft-MSFS可用性测试

5．4 基于ft-MSFS的应用案例

5．5 本章小结

第六章 总结与展望

6．1 论文工作总结

6．2 进一步的工作

参考文献

致谢

在学期间的研究成果及发表的学术论文