大小文件跨网络集群快速迁移协议

摘要

近几年来，计算机科学技术和网络技术快速发展，产生了大量的数据，并且产生数据的速度也在快速增长，经过长年积累，系统后台留下了海量数据。这对传统的数据处理形式提出了挑战，数据的多节点复制同步和迁移成为了一个重要的问题。由于网络的异构性和网络相关的应用多样性的特点，最终在硬盘上形成的数据文件数量巨大，这些数据文件进行同步复制和迁移到不同的处理节点上的效率在很大程度上限制了数据处理任务的总体进度。
　　现有的文件数据迁移处理方法一般是通过差异传输方式减少数据量，通过压缩技术来减少传输量，通过一些加密措施来保证传输安全性，并且一般通过B/S的结构来实现文件传输服务。传统的处理方式缺少有效的针对传输过程的速度优化方式，特别是在最终的待传输数据的处理上，缺少高效的大规模传播策略和措施，本协议的设计将针对最终数据的传输过程进行改进和优化，通过分布式自主协商的算法和流程设计，实现动态源节点扩张机制，通过自动协商选举机制实现区域自治管理，通过集群代理角色机制实现数据的跨公网多集群间进行同步和迁移。这些过程实现大量的不同类型的数据文件在多个集群之间进行快速同步和迁移，提高各节点上的带宽利用率。由于存在分布式协商，会有的额外开销的代价，但是当待传输的数据量巨大，以及待传输节点的规模巨大时，能够很好的表现出该协议在性能和效率上有较大改进和提升。
　　该课题的研究内容是在常见分布式文件系统理论基础上，研究和设计新的分布式文件传输框架和协议以及协议中的分布式协商和传输算法。使之在复杂的网络结构下自适应和弹性扩张，实现集群内部同步，集群间同步以及单点对集群的跨网同步效率的提升。本文首先对协议进行设计与实现，然后在实验环节通过与几个主流使用的传输协议进行性能上的对比测试，来验证协议在性能效率上有较大的改进和提升。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 课题的背景与意义

1.2 国内外研究现状

1.3 主要工作

1.4 本文的章节安排

第二章 相关技术介绍与研究

2.1 分布式文件系统介绍

2.2 常用网络文件传输协议介绍

2.3 分布式文件系统的可靠性介绍

2.4 本章小结

第三章 大小文件跨网络集群快速迁移协议的总体设计

3.1 总体设计结构概述

3.2 协议的主要状态

3.3 协议状态转换图

3.4 各个模块的设计

3.5 角色的分布式选举算法

3.6 实现动态传输路径生成算法

3.7 本章小结

第四章 迁移协议的详细设计与实现

4.1 节点角色选举的设计与实现

4.2 文件的智能处理的详细设计与实现

4.3 数据的传输模块的详细设计与实现

4.4 传输任务的控制的设计与实现

4.5 提交任务客户端的设计与实现

4.6 本章小结

第五章 迁移协议的性能测试

5.1 迁移协议的测试环境

5.2 迁移协议的测试用例

5.3 迁移协议的测试过程

5.4 迁移协议的测试结果分析及结论总结

第六章 大小文件跨网络集群快速迁移协议的应用

6.1 网盘数据备份系统的需求分析

6.2 网盘数据备份系统设计与实现

6.3 网盘备份系统的实际应用

6.4 本章小结

第七章 总结

致谢

参考文献