一种新闻内容的查重方法、系统及装置

摘要

本发明公开了一种新闻内容的查重方法、系统及装置，方法包括：对采集的新闻数据进行格式转换处理，将处理后的新闻数据转为List列表；对得到的列表进行初步的去重处理，以降低列表中新闻数据的重复度；将列表中有效数据写入数据库；对数据库中的新闻数据建立全文索引；基于全文索引，从数据库中查找与目标新闻内容重复的新闻数据。对于日益增长的数据，本发明首先对列表中的新闻数据进行初步的去重处理，再通过全文索引作进一步的新闻去重。相对于无监督的方法，本发明可以使其抽取的性能越来越好。而相对于有监督的方法，本发明对数据的依赖比现有的方法低。