消除文件存储系统中冗余文件的系统及方法

摘要

本发明公开了一种消除文件存储系统中冗余文件的系统，包括由存储服务器模块和索引服务器模块组成的海量存储系统，还包括有获取文件MD5值和文件大小的预处理模块、根据文件MD5值和文件大小进行文件引用数统计的快速存取模块以及在文件引用数达到指定阈值时删除重复文件的去重服务器模块，其中所述索引服务器模块、存储服务器模块、预处理模块依次连接，快速存取模块、索引服务器模块、存储服务器模块、预处理模块分别与去重服务模块连接。本发明还提供一种对应的消除文件存储系统中冗余文件的方法。本发明通过文件的MD5值及文件大小快速找出海量存储系统中的冗余文件并进行去重操作，可较好的控制存储成本。