从海量短新闻中识别相似新闻的方法及相关设备

摘要

本发明属于大数据分析技术领域，具体涉及一种识别相似新闻的方法及相关设备。从海量短新闻中识别相似新闻的方法及相关设备，其中方法包括：获取预设的格式化主体词汇并建立索引；获取多篇新闻，对每篇新闻进行向量化；计算每篇目标新闻与其他新闻是否相似，将与目标新闻相似的其他新闻作为相似新闻；提取目标新闻和相似新闻之间差异的多个字符，在格式化主体词汇建立的索引中查找每个字符，判定目标新闻与相似新闻是否相似；输出新闻相似结果。本发明能很准确地计算出短新闻之间是否相似，能够识别出除了格式化主体不同之外基本一致的格式化新闻是不相似的，避免了格式化新闻都被判为相似的错误。