一种适用于海量存储系统的重复数据删除方法

摘要

本发明提供一种适用于海量存储系统的重复数据删除方法,采用4KB-8KB的小块来截分数据流，采用Hash值和数据指纹的双重验证来确保重复数据的删除率，采用SSD存储Hash索引来提高检索效率，重复数据删除适用于高重复数据，例如较低的数据变化率，完全的数据备份，数据长期保存以及非活动数据，在这些应用环境下能够达到最高的效率，即最高的重复数据删除率，也可以理解为磁盘空间释放比，传统的固定重复数据删除技术，分块数据流一般是采用64KB-128KB的块大小，因为内存RAM和HDD磁盘间速率的差异性，这样做就不会因为块太小而影响性能，但却会因为块过大而影响重复数据的删除比。