一种原创新闻信息识别方法

摘要

本发明公开了一种原创新闻信息识别方法，包括如下步骤，S1、从爬虫爬取的新闻网页中筛选出所有符合要求的目标新闻网页；S2、对所有的目标新闻网页进行内容解析，抽取目标网页的标题、正文、来源、作者、发布时间、评论、转发和点赞信息；S3、计算每个目标新闻网页的SimHash；S4、将具有相同SimHash的新闻网页组成目标新闻网页集，以获取多个具有不同SimHash的目标新闻网页集；S5、分析每个目标新闻网页集中的目标新闻网页，最终获取每个目标新闻网页集中的原创新闻。优点是：对新闻页面进行准确的分类和抽取，增加了文本的价值性；通过SimHash算法，对分词后的新闻页面进行计算和聚合，对相似新闻进行原创新闻算法的比较和识别，提高了识别的效率，减少了干扰项。