大数据下档案文档图片化去重模型研究

摘要

针对达州市档案局数以万计的档案纸质文档需要通过扫描等技术图像化存储的现有情况，提出了一种在大数据下对相同图片文档去重的策略，先把图片文档转换成二进制流并计算其MD5签名，依据签名对图片文档进行去重实现分布式存储，并通过实验对该模型进行模拟验证，得出一种有效的档案图片文档去重模型。