一种基于人体视觉的文本查重方法

摘要

本发明涉及一种基于人体视觉的文本查重方法，信息处理技术领域。本发明通过对预设文本进行预处理，建立预设文本数据库，之后获取任意待检测文本，先对待检测文本进行诸如Simhash算法或Shingling算法的传统文本查重，得到基于传统算法的文本相似度，再对待检测文本进行预处理，利用Jaro‑Winler Distance算法遍历预设文本数据库，得到基于J‑W距离的文本相似度，两个相似度分别从不同方面反映了待检测文本的文本相似程度，最后再将所计算的两个相似度通过相似度融合算法，得到基于人体视觉的文本相似度。本发明与现有技术相比，主要解决了现有技术对某些特殊文本，特别是对正常语句进行词素位置颠倒的句子而言，支持性差、准确性不足等问题。