基于SDN的重复数据删除方法研究

摘要

随着大数据和移动互联网技术的发展，数据量急剧增加，需要备份保护的数据也越来越多，为了减少存储空间的开销和降低网络传输的通信量，数据去重技术已经成为了存储系统中的一个标准特性。虽然重复数据删除技术在存储系统中已经较为成熟，但是在实际应用，特别是网络传输应用中仍然存在诸多问题和挑战。例如在云备份系统中，由于客户端缓存有限以及广域网带宽的限制，备份过程中重复数据的判断需要在服务器端进行，这导致很大的传输延迟，所以会阻塞后续数据的上传，增加了备份窗口，在全局去重时问题更加严重。为提高云备份中源端去重的性能，高效的重复数据删除方法对减少备份时间具有重要的意义。
　　随着可编程网络技术如SDN(Software Defined Network)的成熟，在网络中部署复杂的应用变得简单，本文提出在SDN Controller中检测网络中的冗余数据，加快冗余数据的判断过程，减小备份时间，在SDN控制器中增设指纹缓存，而无需在每个客户端都缓存指纹。一定程度上，在每个客户端开辟指纹缓存，引入了多个用户之间缓存指纹的冗余。本文提出的方法主要是通过在SDN控制器上使用Bloom filter和缓存的索引结构来进行网内的重复数据检测，同时通过下发流表项实现对SDN控制器中指纹缓存的查询和更新，从而快速判断数据是否重复，这种方法的创新点在于将冗余检测的逻辑引入到SDN网络中，和传统的重复数据删除相比，其优势在于不仅可以减小备份客户端的备份窗口，而且避免了在中间网络设备中进行编解码的复杂操作。
　　实验结果表明，基于SDN的数据去重方法与已有的云备份中去重方法相比，不仅保持了相近的数据重删率，同时可以极大减小备份时间，提高系统吞吐量，并且在低带宽环境效果更明显。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪 论

1.1 研究背景及意义

1.2 研究现状

1.3 研究目标和主要工作

1.4 全文结构

2 相关研究工作与技术

2.1 重复数据删除技术

2.2 软件定义网络

2.3 Bloom过滤器

2.4 本章小结

3 基于SDN的重复数据删除方法的设计

3.1 设计思想

3.2 系统框架

3.3 系统模块设计

3.4 备份客户端设计

3.5 交换机模块逻辑

3.6 SDN控制器的设计

3.7 备份服务器的设计

3.8 本章小结

4 基于SDN的重复数据删除方法的实现

4.1 备份客户端的实现

4.2 交换机模块的实现

4.3 SDN控制器的实现

4.4 服务器模块的实现

4.5 本章小结

5 性能测试与结果分析

5.1 测试环境

5.2 功能测试

5.3 性能测试

5.4 本章小结

6 总结与展望

致谢

参考文献