一种基于Hadoop平台的分布式重复数据删除系统和方法

摘要

本发明公开了一种基于Hadoop平台的分布式重复数据删除系统和方法。该系统包括客户端、主节点和工作节点，通过Hadoop平台的MapReduce并行编程框架实现分布式并行重复数据删除处理，实现方法包括客户端向主节点发送文件，主节点完成文件分片、数据分配以及构建文件元数据表，各个工作节点对数据分片按细粒度进行分块，计算细粒度数据块的指纹值，并在数据库Hbase的索引中进行查询比对，将新数据块存储在分布式文件系统HDFS中，再将索引信息反馈给主节点。该系统和方法能在保证高重删率的同时，具有高吞吐率和良好的可扩展性。