一种检测社交媒体重复数据的方法

摘要

本发明公开了一种检测社交媒体重复数据的方法，包括如下步骤：对社交媒体的每一条文本数据划分成多个文本元素，由文本元素分别组成与文本数据相对应的集合；利用哈希函数将集合中的各文本元素分别映射成相应的哈希值并获取其中最小哈希值，重复进行多次映射之后获得由多个最小哈希值组成的数组，数组作为文本数据的最小哈希签名；利用局部敏感哈希算法将最小哈希签名中的每一个最小哈希值所对应的文本元素映射至不同的检测队列中；计算同一个检测队列中的任意两个文本元素之间的Jaccard相似度，Jaccard相似度高于阈值的文本元素判断为重复数据。本发明提高了大规模文本重复性检测的效率。