基于指纹前缀分派数据块的并行重复删除

摘要

在大数据时代,现代企业需要存储的数据越来越多,然而研究表明,各种应用系统中存储的电子数据存在平均约60％的重复数据,并且随着时间的推移不断增长.重复数据删除技术应运而生,并且已经在业界得到了较好的应用.然而在实现数据块级别的重复数据删除过程中,索引的查找匹配是影响整体存储系统性能的瓶颈问题.基于此,提出了一种并行的重复数据删除系统模型,采用流水线的方式来部署整个重复数据删除系统,根据指纹前缀区分不同的数据块,将数据块部署到相应的存储节点,提高了系统的可扩展性,实验表明系统的吞吐率得到了提高.