基于HDFS分布式云存储系统的重复数据检测与删除研究

摘要

传统最远点采样(FPS)算法、数据类型分析(WFC)算法的去重冗余度高,在同一数据集分块、去重检测中的数据重复率达到70~90%。基于这一实际情况,提出基于Hadoop分布式软件框架、分布式文件系统(HDFS)等云服务技术,建构用于复杂数据结构分析、数据分块去重的HDFS-SDBS云存储管理系统,使用基于文件相似度的抽样删除索引(SDBS)算法进行文件数据分块、哈希值(Hash)计算、随机抽样的相似度判定,利用元数据索引查重方式完成输入文件数据、内存数据的比对,删除相似度过高的重复数据,以提升云环境下的数据存储效率与准确率。