基于词网识别大量Web文本信息相似度的方法

摘要

本发明公开了一种基于词网识别大量Web文本信息相似度的方法，包括以下步骤：(1)构建词网；(2)新Web网页文本信息相似度识别，包括以下步骤：从新Web网页中提取文本信息构成新文档，从新文档中提取特征词f1、f2、…、fm；求解每一个特征词f的相似词的集合；求解每一个特征词f的相似文档集合；确定新文档的相似文档并计算相似文档集中文档的相似度值；过滤相似文档集中的文档，得到最终的相似度文档集合；(3)按步骤(1)的方法对新Web网页进行词网更新。利用本方法，可以用于发现信息剽窃或信息模仿、篡改，可以用于发掘不同领域之间隐含存在的相关关系，可以消除重复的网页，降低搜索引擎的负担，优化存储和索引结构。