一种大规模文本相似度计算及文本查重方法

摘要

本发明涉及一种大规模文本相似度计算及文本查重方法，包括：获取原始文本数据集，创建整数形式的指纹集合；将指纹集合及对应的文本id以字节数据方式存储，得到指纹库；获取目标文本，创建目标指纹；从指纹库读取所有字节数据，并存入map内存；根据目标指纹，从map内存中得到对比指纹集合，采用整数异或运算方法，分别计算目标指纹与对比指纹集合中各指纹之间的相似度；当相似度二进制数值中1的个数小于或等于预设值时，则判断该对比指纹与目标指纹相似，通过查询文本id，即完成目标文本的查重。与现有技术相比，本发明能够减少文档指纹存储占用空间、减少查询文档指纹时间，在保证准确度的基础上，大大提升相似度计算及文本查重效率。