基于去重技术的数据同步系统的设计与实现

摘要

21世纪计算机技术日新月异，随着数据存储方式的变化和数据量的增大，用户对数据同步也提出了新的要求。在网络终端设备的广泛使用以及互联网技术的不断普及的今天，数据存储与备份技术已经与我们每个人的生活和工作的运作息息相关，企业与个人均面临着海量数据的同步难题。数据去重技术的发展给数据同步领域带来了革新，基于数据去重技术的同步系统能够向用户提供便捷的，高效的数据数据同步和备份服务。当前国内比较成熟的数据同步软件大都是基于去重技术实现数据的增量同步与备份，这些软件都提供了稳定的数据存储、文件同步功能，但是也都存在一些问题。一方面，同步软件无法实时监控同步文件的变化情况，需要手动比对来选择需要同步的文件；另一方面，许多的同步软件同步较低，在传输数据、网络通讯、传输正确性验证方面没有提出科学的优化。此外，有些同步软件没有保障同步数据的安全性，也没有针对不同的同步事件提出分类数据传输功能。
　　基于去重技术的FESync数据同步系统，总结了当前同步软件的主要功能以及各自存在的问题，从软件的需求分析出发，深入研究了基于数据去重的文件同步系统的关键技术，改进了经典Rsync算法，实现了一种新型的数据同步系统。系统旨在通过使用和改进压缩算法来减少同步数据量，从而减少同步耗时。论文的主要工作有：分析国内外研究现状，阐明系统用户的需求；利用开源的jnotify类库实时监控系统客户端文件的更新变化，将指定文件变化信息进行详细分类；通过对同步事件的分类，设计了针对不同事件的分类处理，其中核心部分是对改变内容的文件做Rsync去重处理，再采用差异压缩，获取更小的传输流量；对于不同的同步任务，设计了不同的数据传输方式；在传输完成后对数据进行重组和正确性的校验。
　　在文章的最后对系统的成果进行了多方面测试，并指出了系统的不足与可改进的方面。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景

1.2 研究目的和意义

1.3 国内外研究现状

1.4 论文主要工作和安排

2 关键理论与技术研究

2.1 rsync算法

2.2 差异压缩技术

2.3 分块算法

2.4 网络通讯技术

2.5 本章小结

3 FESync数据同步系统的分析与设计

3.1 系统的需求分析

3.2 系统的总体设计

3.3 FESync系统各功能模块的设计

3.4 本章小结

4 FEsync数据同步系统的实现

4.1 开发环境和语言平台

4.2 FESync系统各功能模块的实现

4.3 本章小结

5 系统测试

5.1 测试环境

5.2 数据处理功能测试

5.3 差异压缩效率测试

5.4 小结

6 总结与展望

6.1 全文总结

6.2 展望

致谢

参考文献