一种云存储系统中基于模糊聚类的重复数据删除方法

摘要

本发明提出了一种云存储系统中基于模糊聚类的重复数据删除方法。本发明步骤：首先，对来自客户端待存储的文件，确定其文件类型；其次，构建初始聚类中心；然后，依次计算待存储文件的数据指纹集合与各聚类中心的隶属度；最后，按照隶属度的高低，选择合适的聚类，将文件的各数据块指纹与该聚类中所有的数据块指纹进行精确比对，舍弃指纹相同的数据块，只留下重复数据块的索引信息和非重复数据块，从而达到删除重复数据的目的，并更新聚类中心。本发明对文件的数据块指纹采取抽样处理，考虑抽样的数量，结合样本的相似度构建隶属度函数。本发明具有计算速度快的优点，有更少的指纹比对量，适用于云存储系统。