基于频繁词集的并行化话题跟踪方法

摘要

本发明公开了一种基于频繁词集的并行化话题跟踪方法，包括将报道流中一定数量或一段时间内的多个文本通过文本聚类算法计算得到多个话题文本集；通过并行化计算对话题文本集进行频繁词集挖掘；通过词向量模型并行的将频繁词集转换为频繁词向量集，计算报道流的频繁词向量集和先验报道的频繁词向量集之间的相似度；将相似度与设定的话题跟踪阈值进行对比，决定话题归属，完成话题跟踪。本发明利用词集来表示话题文本集，减少了相似度计算开销；提出基于Word2vec词向量模型的相似度计算方法来计算词集间的相似度，可以提高词集间相似度比较的准确性；采用并行化的计算方式进行频繁词集挖掘和词向量转换处理，利用了并行计算的优点，提高话题跟踪的效率。