一种逐句段对比的相似文本查找方法及装置

摘要

本发明涉及数据处理技术领域，涉及一种逐句段对比的相似文本查找方法及装置。其中，该方法包括：对待处理文本以及多个对比文本均进行分段处理，得到对应的多个待处理段落以及每个对比文本的多个对比段落，计算得到所有段落的数字指纹，以数字指纹为基础确定出与待处理段落相同的对比段落，再对剩余的段落通过动态规划算法进行处理，最终得到待处理文本与每个对比文本的相似度，确定出相似度高的对比文本。本发明相较于现有技术中基于计算最小编辑距离和降维比对的方式进行查重，通过上述步骤能够以句段为单位结合数字指纹进行初步处理，再通过动态规划算法精确处理，既保证了查找比对的效率，同时使得得到的相似度结果更加准确。